[論文レビュー] Translating a Math Word Problem to an Expression Tree

Lei Wang, Yan Wang+3 more|arXiv (Cornell University)|Nov 14, 2018

Intelligent Tutoring Systems and Adaptive Learning被引用数 10

ひとこと要約

本稿では、数学的単語問題からの複数の同等な方程式を一意な式木にマッピングする方程式正規化手法を提案し、seq2seqモデルにおける出力の曖昧さを低減する。順序付けと括弧のルールを用いた方程式の正規化と、3つの最先端のseq2seqモデル（Bi-LSTM、ConvS2S、Transformer）をアンサンブル化することで、Math23Kにおける精度を60.7%から68.4%まで向上させ、新たな最先端の成績を達成した。

ABSTRACT

Sequence-to-sequence (SEQ2SEQ) models have been successfully applied to automatic math word problem solving. Despite its simplicity, a drawback still remains: a math word problem can be correctly solved by more than one equations. This non-deterministic transduction harms the performance of maximum likelihood estimation. In this paper, by considering the uniqueness of expression tree, we propose an equation normalization method to normalize the duplicated equations. Moreover, we analyze the performance of three popular SEQ2SEQ models on the math word problem solving. We find that each model has its own specialty in solving problems, consequently an ensemble model is then proposed to combine their advantages. Experiments on dataset Math23K show that the ensemble model with equation normalization significantly outperforms the previous state-of-the-art methods.

研究の動機と目的

• 同じ問題に対して複数の有効な方程式が存在することによる、数学的単語問題（MWP）の解法における非決定的出力空間の問題を解決すること。
• 同等な方程式を一意な式木表現に正規化することで、seq2seqモデルのMWP解法性能を向上させること。
• 異なるseq2seqアーキテクチャ（Bi-LSTM、ConvS2S、Transformer）の相補的な強みを調査し、アンサンブル学習により統合すること。
• 方程式正規化とモデルアンサンブルが、Math23Kベンチマークにおける最先端性能を顕著に向上させることを実証すること。

提案手法

• 問題に含まれる重要な数値を特定し、それらをトークン（例：n1、n2）に置き換えることで、方程式テンプレートを作成するための数値マッピングを適用する。
• 2つの正規化ルールを導入する：(1) 長さが異なる場合、短いテンプレートを優先する。 (2) トークンを元の問題における出現順に並べ替える。
• 重複する括弧を削除することで、括弧に基づく方程式の重複を排除する。
• 正規化された方程式テンプレート上で、3つの最先端seq2seqモデル（Bi-LSTM、ConvS2S、Transformer）を訓練・比較する。
• 3つのモデルの予測を統合することで、相補的な強みを活かしたアンサンブルモデルを構築する。
• ビームサーチデコードと後処理を用いて、トークン化された方程式テンプレートを数値的解に変換する。

実験結果

リサーチクエスチョン

• RQ1 複数の同等な方程式を1つの式木表現に正規化することで、seq2seqモデルの数学的単語問題解法性能が向上するか？
• RQ2 異なるseq2seqアーキテクチャ（Bi-LSTM、ConvS2S、Transformer）は、さまざまな種類の数学的単語問題に対して、それぞれ異なる強みを示すか？
• RQ3 方程式正規化は、最大尤度推定における曖昧さと訓練の安定性をどの程度低減するか？
• RQ4 多様なseq2seqモデルのアンサンブルは、数学的単語問題ベンチマークで個々のモデルを上回る性能を発揮するか？

主な発見

• 方程式正規化は、すべての個々のモデルの精度を向上させ、アーキテクチャごとに2.7%から7.1%の向上幅を示した。
• 正規化後、Bi-LSTMモデルが最も高い個別精度66.7%を達成し、次いでConvS2S（64.2%）、Transformer（62.3%）であった。
• アンサンブルモデルは最高の精度68.4%を達成し、最良個別モデル（Bi-LSTM）を1.7%上回った。
• 除去感度分析では、括弧の削除（EB）が最も大きな性能向上貢献を示し（Bi-LSTMで65.3%）、次いでルール2（63.7%）、ルール1（63.1%）であった。
• 事例研究では、Transformerモデルがマルチヘッドアテンションのおかげで複雑な推論タスクで優れた性能を発揮しているのに対し、ConvS2Sは畳み込みブロックにより文脈的関係を効果的に捉えていた。
• 本手法は方程式の重複を効果的に低減し、seq2seqモデルのより決定的かつ安定した学習プロセスを実現した。