[論文レビュー] Reverse Operation based Data Augmentation for Solving Math Word Problems

Qianying Liu, Wenyu Guan+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 31被引用数 6

ひとこと要約

本稿では、既存の問題の数学的論理を逆転させることで高品質なトレーニング例を生成する逆演算ベースのデータ拡張手法RODAを提案する。RODAは、既知と未知の量を入れ替え、解法式を逆転させることで、意味的に妥当で推論を要する問題を生成し、新たな数学的知識のポイントを導入する。この手法により、Math23KでSOTAモデルの性能が著しく向上し、バックトランスレーションなどの強力なベースラインを上回る。

ABSTRACT

Automatically solving math word problems is a critical task in the field of natural language processing. Recent models have reached their performance bottleneck and require more high-quality data for training. We propose a novel data augmentation method that reverses the mathematical logic of math word problems to produce new high-quality math problems and introduce new knowledge points that can benefit learning the mathematical reasoning logic. We apply the augmented data on two SOTA math word problem solving models and compare our results with a strong data augmentation baseline. Experimental results show the effectiveness of our approach. We release our code and data at https://github.com/yiyunya/RODA.

研究の動機と目的

• 限られた高品質なトレーニングデータによる数学文章問題（MWP）の解法性能のボトル neck を解消すること。
• 並び替えベースのデータ拡張にはノイズが混入しやすく、新たな数学的推論パターンを生成できないという限界を克服すること。
• 既存の問題の数学的論理を逆転させることで、新たな高品質なMWP例を生成する手法を開発すること。
• 語彙の変化を超えた新たな数学的知識のポイントを導入することで、モデルの一般化性能を向上させること。
• 多様なMWPデータセットおよびモデルにおいて、逆演算ベースの拡張が有効であることを実証すること。

提案手法

• 与えられたMWPの数学的演算を逆転させる：問題文における既知と未知の量を入れ替える。
• 解法式を逆転させる（例：time = distance / speed から distance = time × speed へ）ことで数学的正しさを保持する。
• 元の質問を、元の答えを入力とする宣言文に変換し、元の答えの役割を未知の量として再配置する。
• 文法的・意味的整合性を保つために、疑問詞（例：'how many'、'how much'）は最終節でのみ使用する。
• 式の正規化を適用して、式の先頭に負の項が来ないようし、一貫した句構造を確保する。
• モデルに依存しない手法であり、任意のsequence-to-sequence MWPソルバーに適用可能で、推論レベルのデータ拡張により一般化性能を向上させられる。

実験結果

リサーチクエスチョン

• RQ1 逆演算ベースのデータ拡張は、高品質で数学的に妥当なMWP例を生成し、モデル性能を向上させることができるか？
• RQ2 この手法は語彙の並び替えを超えて、新たな数学的知識のポイントを導入することができ、推論一般化を向上させるか？
• RQ3 複雑で単純なMWPデータセットにおいて、バックトランスレーションなどの強力なベースラインと比較して、性能向上の度合いはどうか？
• RQ4 この手法は、Math23KやAllArithのような異なる言語およびMWPデータセットにおいても一般化可能か？
• RQ5 最先端のMWPソルバーに適用した場合、データ拡張がモデル性能に与える影響は何か？

主な発見

• RODAはMath23KデータセットでSOTAの性能を達成し、既存のモデルや強力なベースラインを上回った。
• Math23Kでは、バックトランスレーションと比較してF1スコアが0.4ポイント向上（70.3%から70.7%）し、複雑で大規模なデータに対して優れた性能を示した。
• AllArithデータセットの831問題から715件の新たな高品質な例を生成し、元の問題数の0.86%に相当した。
• より単純なAllArithデータセットでは、バックトランスレーションと同等の性能を達成しており、データの複雑さのレベルを問わず堅牢であることが示された。
• 拡張されたデータは、逆数の公式など新たな数学的知識のポイントを導入しており、表面的な言い換えを超えた推論論理の学習を支援した。
• 数学的厳密性を保ちつつ、既知／未知変数の構造的役割のみを変更することで、ノイズを効果的に回避し、意味的妥当性を確保した。