[論文レビュー] Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems

Keyur Faldu, Amit Sheth+3 more|arXiv (Cornell University)|Oct 29, 2021

Software Engineering Research被引用数 7

ひとこと要約

この論文は、数学的単語問題（MWPs）を解くためのニューラル手法と非ニューラル手法を調査し、解釈可能で説明可能で、知識を組み込んだモデルの必要性を強調している。3つの主要なニューラル戦略（直接的回答生成、式木生成、テンプレート検索）を特定し、一般化能力や数学的推論能力の制限を克服するため、外部知識と記号的推論を統合するべきだと提言している。

ABSTRACT

Mathematical reasoning would be one of the next frontiers for artificial intelligence to make significant progress. The ongoing surge to solve math word problems (MWPs) and hence achieve better mathematical reasoning ability would continue to be a key line of research in the coming time. We inspect non-neural and neural methods to solve math word problems narrated in a natural language. We also highlight the ability of these methods to be generalizable, mathematically reasonable, interpretable, and explainable. Neural approaches dominate the current state of the art, and we survey them highlighting three strategies to MWP solving: (1) direct answer generation, (2) expression tree generation for inferring answers, and (3) template retrieval for answer computation. Moreover, we discuss technological approaches, review the evolution of intuitive design choices to solve MWPs, and examine them for mathematical reasoning ability. We finally identify several gaps that warrant the need for external knowledge and knowledge-infused learning, among several other opportunities in solving MWPs.

研究の動機と目的

• 非ニューラルおよびニューラル手法を用いた数学的単語問題（MWPs）の解法における最新技術の状況を分析すること。
• 既存モデルの数学的推論能力を評価し、解釈可能性、説明可能性、一般化能力に焦点を当てる。
• 現在のアプローチにおけるギャップを特定すること、特に表面的なパターン依存と分野特有の知識との統合不足に焦点を当てる。
• 知識を組み込んだ学習、外部知識ベクトル、ハイブリッドニューラル記号アーキテクチャを活用してMWPソルバーを強化する機会を検討すること。
• 知識集約型の数学的推論タスクに特化した評価ベンチマークの開発を提唱すること。

提案手法

• MWP解法のためのルールベースシステム、意味解析、テンプレート検索といった非ニューラル手法のサーベイ。
• 3つのコア戦略に注目したニューラルアプローチの分析：直接的回答生成、記号的推論のための式木生成、計算のためのテンプレート検索。
• 式木の使用を提唱し、MWPソルバーにおけるモデルの解釈可能性を向上させ、段階的推論を可能にする。
• 訓練中に外部知識ベクトルを統合し、数学的単語問題における推論を強化する。
• 強化学習を用いて、政策学習を通じて計算グラフ（例：式木）の構築を最適化する。
• モデルの透明性とユーザー参加を向上させるために、途中に自然言語による説明を挿入することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 現在のMWPソルバーは、真の数学的推論ではなく、表面的な統計的パターンにどれほど依存しているのか？
• RQ2 ニューラルモデルは、数学的推論の文脈でどのようにしてより解釈可能で説明可能にすることができるか？
• RQ3 外部知識と知識を組み込んだ学習は、MWPソルバーの耐性と一般化能力を向上させるのに果たす役割は何か？
• RQ4 強化学習は、MWPの解法に最適な計算グラフの構築に効果的に適用できるか？
• RQ5 ハイブリッドニューラル記号システムは、複雑なMWPを解く際の人的な数学的推論をどのようによりよく模倣できるか？

主な発見

• 既存のニューラルモデルは、標準ベンチマークで高いパフォーマンスを達成しているが、深層的な数学的推論ではなく、浅いヒューリスティクスに依存していることが多い。
• 式木生成は解釈可能性を向上させ、段階的推論を可能にし、より透明で説明可能なMWPソルバーへの道筋を提供する。
• 非ニューラル手法はトレーニングデータの増加に比例してスケーリングしないが、ニューラルモデルは大規模なトレーニングデータを用いた複雑なMWPsの処理において有望である。
• 途中に自然言語による説明を挿入することで、モデルの透明性が向上し、ユーザーが推論ステップを追跡しやすくなり、信頼性と関与度が向上する。
• 外部知識の統合と知識ベクトルの統合は、分野特有の公式や概念を必要とする知識集約型MWPを解くために不可欠である。
• 強化学習は、MWPにおける計算グラフの構築を最適化する可能性を示しているが、まだ初期段階にとどまっている。