[論文レビュー] NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks

Swaroop Mishra, Arindam Mitra+5 more|arXiv (Cornell University)|Apr 12, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、8つの算術的推論タスク（4つが新規、4つが既存）からなるマルチタスクベンチマークであるNumGLUEを紹介する。このベンチマークは、AIシステムがフォーマットに依存しない堅牢な数値的推論を行う能力を評価することを目的としている。GPT-3-13Bのような最先端モデルですら、人間の水準に比べて著しく性能が低く（平均46.4%の差）、タスク間での共同学習により平均3.4%の向上が得られた。これは、自然言語処理における汎用的でフォーマットに依存しない算術的推論の必要性を示している。

ABSTRACT

Given the ubiquitous nature of numbers in text, reasoning with numbers to perform simple calculations is an important skill of AI systems. While many datasets and models have been developed to this end, state-of-the-art AI systems are brittle; failing to perform the underlying mathematical reasoning when they appear in a slightly different scenario. Drawing inspiration from GLUE that was proposed in the context of natural language understanding, we propose NumGLUE, a multi-task benchmark that evaluates the performance of AI systems on eight different tasks, that at their core require simple arithmetic understanding. We show that this benchmark is far from being solved with neural models including state-of-the-art large-scale language models performing significantly worse than humans (lower by 46.4%). Further, NumGLUE promotes sharing knowledge across tasks, especially those with limited training data as evidenced by the superior performance (average gain of 3.4% on each task) when a model is jointly trained on all the tasks as opposed to task-specific modeling. Finally, we hope that NumGLUE will encourage systems that perform robust and general arithmetic reasoning within language, a first step towards being able to perform more complex mathematical reasoning.

研究の動機と目的

• 質問のフォーマットが変わると算術的推論に脆弱になる現在のAIシステムの問題を解決すること。
• 多様な数値的推論フォーマットにわたる一般化能力を評価するマルチタスクベンチマークの開発。
• GPT-3のような最先端モデルが、多様な言語的文脈における数値の扱いにおいて、根本的な制限を示していることの特定。
• タスク間での共同学習が、知識の転送を通じて性能向上をもたらすことを示すこと、特にデータが少ないタスクにおいて顕著である。
• 複雑な数学的推論の基盤として、汎用的でフォーマットに依存しない数値的推論の研究を促進すること。

提案手法

• 4つの新規タスクを含む8つの異なるタスクを有するマルチタスクベンチマークを設計し、それぞれが基本的な算術的推論を要件としている。
• タスク全体で約10万問の問題を収集し、フォーマットの多様性（例：文章問題、穴埋め、NLI、比較）を確保しながらも、算術的複雑性を維持する。
• メモリ拡張ニューラルモデル（Ex-NumNet）と微調整済みGPT-3を含む複数のベースラインを、タスク固有の学習とマルチタスク学習の両設定で訓練・評価する。
• 知識依存タスクにおける推論を強化するために、条件付き情報検索（CIR）モジュールを実装する。
• タスク間のデータ不均衡を緩和するためにオーバーサンプリングを適用し、マルチタスク学習との影響を比較する。
• 各タスクで50件のサンプルを対象に誤差分析を実施し、失敗モードを分類：無効な出力、数値のコピー、誤った計算、冗長なテキスト。

実験結果

リサーチクエスチョン

• RQ1 AIモデルは、文章問題、穴埋め、NLI、比較タスクなど、多様な質問フォーマット間で算術的推論を一般化できるか？
• RQ2 GPT-3のような最先端の大規模言語モデルは、質問フォーマットが変わると、単純な算術的推論においてどの程度失敗するのか？
• RQ3 多様な算術的タスク間での共同マルチタスク学習は、タスク固有の微調整に比べて、性能向上と知識転送をもたらすのか？
• RQ4 エンドツーエンド（例：GPT-3）とニューロ記号的（例：Ex-NumNet）の異なるモデリングパラダイムは、数値的推論タスクにおける性能と頑健性においてどのように比較されるか？
• RQ5 現在のモデルで顕在する主なエラー種別は何か？また、アーキテクチャ的・訓練的改善によってこれらは軽減可能か？

主な発見

• GPT-3-13Bのような最先端の大規模言語モデルは、NumGLUEタスク全体で人間の平均水準より平均46.4%低い性能を示しており、算術的推論一般化における根本的なギャップを示している。
• 全8タスクで共同学習を実施した場合、タスク固有の学習に比べて平均して各タスクで3.4%の性能向上が得られ、有効な知識転送が確認された。
• GPT-3-13Bは、外部知識を必要とするタスクで他のベースラインを上回った。これは、広範なウェブ規模コーパスでの事前学習によるものと推定される。
• 最も一般的なエラー種別は誤った計算（Ex-NumNetでは71%、GPT-3では56%）、次に無効な出力、冗長なテキスト生成が続く。
• オーバーサンプリングはデータが少ないタスクでの性能向上をもたらしたが、データが多いタスクでは性能を低下させ、CIRを組み込んだマルチタスクベースラインを上回ることはなかった。
• 誤差分析の結果、モデルは答えを計算する代わりに数値をそのままでコピーする傾向にあり、GPT-3はEx-NumNetに比べて著しく冗長なテキストを生成していた。