[論文レビュー] A Weakly Supervised Model for Solving Math word Problems.

Oishik Chatterjee, Aashish Waikar+3 more|arXiv (Cornell University)|Apr 14, 2021

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、方程式のアノテーションが不要な、最終的な答えのみを監視信号として用いる弱教師付きモデルを提案する。問題文と答えから方程式を生成するような序列変換モデルを訓練することで、Math23Kデータセット上で56.0%の精度を達成し、完全な方程式レベルの監視が不要な状態でも優れた性能を示している。

ABSTRACT

Solving math word problems (MWPs) is an important and challenging problem in natural language processing. Existing approaches to solve MWPs require full supervision in the form of intermediate equations. However, labeling every math word problem with its corresponding equations is a time-consuming and expensive task. In order to address this challenge of equation annotation, we propose a weakly supervised model for solving math word problems by requiring only the final answer as supervision. We approach this problem by first learning to generate the equation using the problem description and the final answer, which we then use to train a supervised MWP solver. We propose and compare various weakly supervised techniques to learn to generate equations directly from the problem description and answer. Through extensive experiment, we demonstrate that even without using equations for supervision, our approach achieves an accuracy of 56.0 on the standard Math23K dataset. We also curate and release a new dataset for MWPs in English consisting of 10227 instances suitable for training weakly supervised models.

研究の動機と目的

• 数学的単語問題における中間的方程式のアノテーションにかかる高コストと作業負荷を軽減すること。
• 方程式のアノテーションを一切用いずに、最終的な答えのみを監視信号として用いることで、MWPソルバのトレーニングを可能にすること。
• 問題文と答えから直接方程式を生成する弱教師付き技術を開発すること。
• 弱教師付きモデルのトレーニングに適した、10,227件の英語MWPデータセットを収集・公開すること。
• 完全な方程式レベルの監視がなくても、高品質なMWP解決が達成可能であることを示すこと。

提案手法

• 最終的な答えの監視信号のみを用いて、問題文と答えから方程式を生成するような序列変換モデルを訓練する。
• トレーニング中に真の方程式が入手できない状況下で、さまざまな弱教師付き学習手法を適用し、方程式生成を最適化する。
• 生成された方程式を用いて、教師ありMWPソルバを訓練し、答えのみからエンドツーエンドの学習を可能にする。
• モデルの方程式生成能力を活用して、下流のMWP解決のためのシミュレートされた教師信号を生成する。
• 答えとの整合性を保つトレーニング目的とシーケンス生成損失を組み合わせて、方程式生成器をファインチューニングする。
• 弱教師付きトレーニングに適した、10,227件の英語数学単語問題のデータセットを公開する。このデータセットでは、答えのみがアノテーションされている。

実験結果

リサーチクエスチョン

• RQ1 最終的な答えのみを監視信号として用いることで、モデルは数学的単語問題の正確な方程式を学習できるか？
• RQ2 問題文と答えから方程式を生成する際、さまざまな弱教師付き手法の有効性はいかほどか？
• RQ3 方程式アノテーションなしで、弱教師付きモデルが標準的なMWPベンチマークで競争力のある性能を達成できるか、その程度は？
• RQ4 答えのみにアノテーションが施された収集済みデータセットは、弱教師付きMWPソルバの効果的なトレーニングを可能にするか？
• RQ5 方程式レベルの監視を一切使わず、答えレベルの監視のみでトレーニングした場合でも、最終的なMWPソルバの性能は競争力を持つのか？

主な発見

• 提案された弱教師付きモデルは、方程式アノテーションを一切使用せず、標準的なMath23Kベンチマークで56.0%の精度を達成した。
• モデルは、問題文と最終的な答えから妥当な方程式を効果的に生成する能力を習得しており、これにより効果的な下流のMWP解決が可能になった。
• さまざまな弱教師付き手法を用いた方程式生成は、答えのみの監視が可能であることを示しており、実現可能性を裏付けた。
• 答えのみにアノテーションが施された10,227件の英語MWPインスタンスから構成されるデータセットを公開し、弱教師付きモデルのトレーニングに活用可能にした。
• アノテーションコストを大幅に削減しながらも、強力な性能を維持できることを示しており、リソースが限られたMWPトレーニング環境においても実用的であることが証明された。
• 結果から、答えレベルの監視のみで機能的なMWPソルバを構築できることが示され、完全な方程式レベルのアノテーションの必要性が疑問視された。