[論文レビュー] NT5?! Training T5 to Perform Numerical Reasoning

Pengjian Yang, Ying-Ting Chen+2 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 8被引用数 10

ひとこと要約

本稿では、合成数値（NUM）およびテキスト（TXT）データセットおよびSQuADを用いた事前学習の後、DROPで微調整を行うことで、T5-Smallを数値推論（NRoT）に適応させる順次事前学習フレームワークNT5を提案する。この手法は、6000万パラメータを用い、手動による記号的モジュール設計を回避しながらも、GenBERTなどの大規模モデルに近い性能を達成し、DROPの調整済F1スコアで70.83を記録した。

ABSTRACT

Numerical reasoning over text (NRoT) presents unique challenges that are not well addressed by existing pre-training objectives. We explore five sequential training schedules that adapt a pre-trained T5 model for NRoT. Our final model is adapted from T5, but further pre-trained on three datasets designed to strengthen skills necessary for NRoT and general reading comprehension before being fine-tuned on the Discrete Reasoning over Text (DROP) dataset. The training improves DROP's adjusted F1 performance (a numeracy-focused score) from 45.90 to 70.83. Our model closes in on GenBERT (72.4), a custom BERT-Base model using the same datasets with significantly more parameters. We show that training the T5 multitasking framework with multiple numerical reasoning datasets of increasing difficulty, good performance on DROP can be achieved without manually engineering partitioned functionality between distributed and symbol modules.

研究の動機と目的

• ハイブリッドニューラル記号アーキテクチャに依存せずに、T5のような事前学習済みエンコーダー・デコーダー型シーケンス・ツー・シーケンスモデルにおける数値推論（NRoT）性能を向上させること。
• 合成および一般的な読解理解データセットを用いた順次事前学習が、完全にニューラルなモデルに数値推論スキルを内蔵させることに有効であるかどうかを調査すること。
• バリデーションデータセットの選択（DROP対合成データセット）がモデルの汎化性能および性能に与える影響を評価すること。
• 複数のデータセットを同時にマルチタスクで事前学習することで、順次学習に比べDROPでの性能が向上するかどうかを検証すること。
• DROPベンチマークにおいて、小規模なT5モデルとGenBERT や QDGAT-ALBERT といった大規模で特化したモデルの性能を比較すること。

提案手法

• 本手法は順次学習パイプラインを用いる：まず合成NUMおよびTXTデータセットで事前学習し、次にSQuADで事前学習し、最後にDROPおよびDROP分類タスクで微調整する。
• 各段階で温度スケーリングと特別なトークンを用いて、データセットのソースを識別するマルチタスク学習を適用する。
• モデルはT5-Small（6000万パラメータ）から初期化され、タスク固有のプロンプトテンプレートを用いて、標準のT5テキスト・ツー・テキスト目的関数で学習される。
• バリデーションは、DROP開発セットまたは合成データセットの開発セットのいずれかで実施され、汎化性能およびモデル選択性能を比較する。
• 最終的なモデルはDROPおよび派生した分類タスクで微調整され、バリデーション戦略およびマルチタスクスケジューリングに関するアブレーションスタディが実施される。
• 性能評価は、質問タイプごとの分解F1スコア、EM、およびDROPの調整済F1スコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 記号的モジュールの統合なしに、完全にニューラルなT5モデルが数値推論（NRoT）で優れた性能を達成できるか？
• RQ2 合成数値およびテキストデータセットを用いた順次事前学習が、標準的な微調整に比べ、DROPにおける汎化性能および性能向上に寄与するか？
• RQ3 バリデーションデータセットの選択（DROP 対 合成データセット）がモデル選択および最終的な性能に与える影響はいかほどか？
• RQ4 事前学習段階にSQuADを追加することで、読解理解および数値推論スキルがどの程度向上するか？
• RQ5 すべてのデータセットを同時にマルチタスクで事前学習することは、順次学習に比べて性能が優れているか？

主な発見

• 最良のモデルは、DROPテストセットで調整済F1スコア70.83を達成し、ベースラインのT5-Small（45.90）から顕著な向上を示した。
• 順次事前学習によりNUM、TXT、SQuADを経て、数値質問におけるF1スコアは、ベースラインの31.83から70.39に向上した。
• 事前学習段階で合成データセット（NUM/TXT）の開発セットをバリデーションに用いることで、DROP開発セットを用いる場合に比べ、3.37ポイントのF1スコアの優位性（50.32 対 46.95）を示し、汎化性能が向上した。
• SQuADを事前学習段階に追加することで、読解理解F1スコアが平均3.06ポイント向上したが、数値推論性能に顕著な劣化は見られなかった。
• すべてのデータセットを同時にマルチタスクで事前学習した場合、順次学習に比べてF1スコアで約6ポイント劣り、段階的学習がより効果的であることが示された。
• 6000万パラメータのみを用いても、モデルは強力な性能（67.0 EM、70.8 F1）を発揮し、記号的モジュールを備えないにもかかわらず、GenBERT（72.4 F1）に近い性能に到達した。