[論文レビュー] Giving BERT a Calculator: Finding Operations and Arguments with Reading Comprehension

Daniel Andor, Luheng He+2 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 1被引用数 9

ひとこと要約

本論文では、数値推論を実行できる軽量で実行可能なプログラムをBERTベースの読解モデルに組み込むことで、要約的数値回答のための演算（例：Diff、Sum、Mul、Div）と引数（数値スパン）を予測できるようにする手法を提案する。このモデルはDROPデータセットで33%のF1スコアの絶対的向上を達成し、少サンプル学習を用いて数学的単語問題にも一般化可能であり、両タスクで先行手法を上回る性能を発揮する。

ABSTRACT

Reading comprehension models have been successfully applied to extractive text answers, but it is unclear how best to generalize these models to abstractive numerical answers. We enable a BERT-based reading comprehension model to perform lightweight numerical reasoning. We augment the model with a predefined set of executable 'programs' which encompass simple arithmetic as well as extraction. Rather than having to learn to manipulate numbers directly, the model can pick a program and execute it. On the recent Discrete Reasoning Over Passages (DROP) dataset, designed to challenge reading comprehension models, we show a 33% absolute improvement by adding shallow programs. The model can learn to predict new operations when appropriate in a math word problem setting (Roy and Roth, 2015) with very few training examples.

研究の動機と目的

• 抽出型読解モデルが、要約的答えを必要とする数値推論タスクを処理できないという限界を解消すること。
• 単純なスパン抽出を超えた離散的・定量的推論を課すDROPデータセットにおける性能向上を図ること。
• 従来の読解と数値推論を最小限のアーキテクチャ変更で統合できる統一モデルを実現すること。
• 限られた訓練データで新しい演算（例：乗算、除算）を含む数学的単語問題への少サンプル一般化を検討すること。
• 推論ステップを模倣するシンボリックプログラム予測により解釈可能性を提供すること。

提案手法

• 算術演算（Diff、Sum、Mul、Div）、スパン抽出、論理演算を含む事前に定義された実行可能なプログラムのセットをBERTベースの抽出型QAモデルに拡張する。
• 直接的に数値的答えを予測するのではなく、計算機に計算を任せるために、プログラム（演算と引数）を予測するようにモデルを学習する。
• 引数を本文中の数値またはスパンへのポインタとして扱い、演算の合成（例：Diff(Sum(a,b), c)）を可能にする。
• CoQAで共同学習することで、従来の読解性能を維持しつつDROPでの性能向上を図る。
• DROPで微調整し、アンサンブルを用いて性能を向上させる。特にマルチスパンの答えにおけるクラス不均衡の処理に注力する。
• イリノイ州の数学的単語問題データセットで少サンプル学習を適用し、未学習の演算への一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルに軽量で実行可能なプログラムを組み込むことで、DROPのような数値推論タスクの性能向上が図れるか？
• RQ2 非常に少ない訓練例で、数学的単語問題における新しい演算（例：乗算、除算）への一般化性能はどの程度高いか？
• RQ3 従来の読解タスク（例：CoQA）においても高い性能を維持しつつ、DROPでの性能向上が図れるか？
• RQ4 プログラムレベルの解釈（例：Diff(55893, 48341)の予測）は、モデルの解釈可能性と推論の整合性を向上させるか？
• RQ5 合成演算（例：Sum3、Merge）は、複雑な答えタイプにおいてどの程度性能向上に寄与するか？

主な発見

• モデルはDROP開発セットで81.1のF1スコアを達成し、以前の最先端手法NAQANetと比較して33%の絶対的向上を示した。
• Diff100とSum3の追加により、それぞれ9%および1.1%の相対的向上が得られ、データ中の出現頻度と整合的であった。
• CoQAで共同学習を実施したことで、DROP性能が向上し、同時にCoQAでも82.2のF1スコアを維持した。これにより二重タスク処理の可能性が示された。
• DROPで事前学習し、ILデータで微調整した後、イリノイ州の数学的単語問題データセットで83.2%の正答率を達成。従来のルールベースおよび深層強化学習モデルを上回った。
• わずか562件の訓練例でのみ、数学的単語問題で乗算・除算の演算を正しく予測できるようになり、優れた少サンプル一般化性能を示した。
• 6つのモデルをアンサンブルすることで、さらに1%の性能向上が得られ、最終的なDROPでのF1スコアは81.1に達した。