[論文レビュー] NumGPT: Improving Numeracy Ability of Generative Pre-trained Models

Zhihua Jin, Xin Jiang+5 more|arXiv (Cornell University)|Sep 7, 2021

Topic Modeling参考文献 27被引用数 11

ひとこと要約

NumGPTは、科学表記を用いて仮数部と指数部の別々の埋め込みを用いて数値を明示的にモデル化することで、数値的推論能力を向上させる、革新的な生成的事前学習言語モデルを導入する。このモデルは、数学的単語問題、測定推定、桁数分類といった数値的推論タスクで最先端の性能を達成し、GPTやDICEを用いたGPTよりも複数のベンチマークで優れた結果を示している。

ABSTRACT

Existing generative pre-trained language models (e.g., GPT) focus on modeling the language structure and semantics of general texts. However, those models do not consider the numerical properties of numbers and cannot perform robustly on numerical reasoning tasks (e.g., math word problems and measurement estimation). In this paper, we propose NumGPT, a generative pre-trained model that explicitly models the numerical properties of numbers in texts. Specifically, it leverages a prototype-based numeral embedding to encode the mantissa of the number and an individual embedding to encode the exponent of the number. A numeral-aware loss function is designed to integrate numerals into the pre-training objective of NumGPT. We conduct extensive experiments on four different datasets to evaluate the numeracy ability of NumGPT. The experiment results show that NumGPT outperforms baseline models (e.g., GPT and GPT with DICE) on a range of numerical reasoning tasks such as measurement estimation, number comparison, math word problems, and magnitude classification. Ablation studies are also conducted to evaluate the impact of pre-training and model hyperparameters on the performance.

研究の動機と目的

• GPTのような既存の事前学習言語モデルが、数学的単語問題や測定推定などの数値的推論タスクで苦戦することに起因する、限られた数値的推論能力を改善すること。
• 数値を仮数部と指数部に分解することで、数値の桁数と精度を明示的に捉えるモデルを設計すること。
• 生成的モデルの事前学習目的に数値に配慮した表現を統合し、数値的推論における頑健性を向上させること。
• 提案手法の有効性を、合成的および実世界の数値的推論ベンチマークの両方で評価すること。

提案手法

• NumGPTは、数値の仮数部をプロトタイプベースの埋め込みで表現し、指数部に対して個別の埋め込みを用いることで、桁数と精度を別々にモデル化できる。
• モデルは数値を科学表記（例：2300 → 2.3 × 10³）に変換し、入力埋め込み層で仮数部と指数部を別々に符号化する。
• 4ヘッドの出力ヘッドアーキテクチャにより、セレクターヘッドに基づいてテキストトークンまたは数値（仮数部および指数部ヘッドを介して）を予測できる。
• 言語モデル学習と数値生成を同時に最適化するため、数値に配慮した新しい損失関数を導入し、数値の正確な予測を保証する。
• 大規模コーパス上で事前学習を行う際、数値を標準的な科学表記に正規化するカスタム数値パーサーを用いて数値を処理する。
• 数学的単語問題や桁数分類などのタスクに適応させるために、ドメイン特化データセットを用いて微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 仮数部と指数部の明示的な数値構造モデリングが、自己回帰的言語モデルにおける数値的推論能力を向上させることができるか？
• RQ2 プロトタイプベースの数値埋め込みを統合することで、標準的なGPTと比較して、数値的推論タスクにおける性能がどのように変化するか？
• RQ3 数値に配慮した損失関数が、数値の生成および数値の推論能力をどの程度向上させるか？
• RQ4 提案手法は、測定推定や桁数分類を含む多様な数値的推論タスクに一般化可能か？

主な発見

• 測定推定タスクにおいて、NumGPTは標準的なGPTやDICEを用いたGPTを上回り、実世界の数量に対する適切な数値を予測する精度が高くなっている。
• 数学的単語問題において、NumGPTはより正確な数値的回答を生成し、ベースラインモデルよりも優れた推論能力を示している。
• Numeracy-600Kデータセットを用いた桁数分類タスクでは、NumGPTが優れた性能を示しており、数値の桁数理解がより洗練されていることが示唆されている。
• アブレーションスタディの結果、数値に配慮した損失関数および仮数部と指数部の別々のモデリングが、モデル性能の向上に顕著に寄与していることが確認された。
• 異なるハイパーパramーターや事前学習の設定に対しても、モデルの性能は安定しており、スケーラビリティと安定性が示された。