[論文レビュー] A Survey of Deep Learning for Mathematical Reasoning

Pan Lu, Liang Qiu+3 more|arXiv (Cornell University)|Dec 20, 2022

Intelligent Tutoring Systems and Adaptive Learning被引用数 7

ひとこと要約

本調査は、過去10年間における深層学習を用いた数学的推論のアプローチを包括的に概説し、タスク、データセット、手法を統一的な分類体系に分類している。既存のベンチマークとモデルを評価し、事前学習された言語モデルやコンテキスト内学習の最近の進展に注目するとともに、数学的推論AIにおける主な課題と今後の研究方向性を特定している。

ABSTRACT

Mathematical reasoning is a fundamental aspect of human intelligence and is applicable in various fields, including science, engineering, finance, and everyday life. The development of artificial intelligence (AI) systems capable of solving math problems and proving theorems has garnered significant interest in the fields of machine learning and natural language processing. For example, mathematics serves as a testbed for aspects of reasoning that are challenging for powerful deep learning models, driving new algorithmic and modeling advances. On the other hand, recent advances in large-scale neural language models have opened up new benchmarks and opportunities to use deep learning for mathematical reasoning. In this survey paper, we review the key tasks, datasets, and methods at the intersection of mathematical reasoning and deep learning over the past decade. We also evaluate existing benchmarks and methods, and discuss future research directions in this domain.

研究の動機と目的

• 深層学習における数学的推論タスクの体系的分類を提供すること。具体的には、数学文章問題、定理証明（形式的および非形式的）、幾何学的問題解決（注釈あり・なし）、数学の質問応答、およびその他の定量的推論（例：科学、ファイナンス、プログラミング）を含む。
• さまざまな数学的推論タスクにおける既存のベンチマークとデータセットを評価し、その強みと限界を強調すること。
• シーケンス・トゥ・シーケンスモデルからグラフニューラルネットワーク、事前学習された言語モデルに至るまで、深層学習手法の進化を分析すること。
• コンテキスト内学習とチェーン・オブ・トゥーク（CoT）プロンプティングが、数学的推論タスクにおけるモデル性能を向上させる役割を検討すること。
• より強固で汎用的かつ解釈可能なAIシステムを数学的推論に向け開発するにあたり、残された主な課題と今後の研究方向性を特定すること。

提案手法

• 数学的推論を5つの主要なタスクに分類する：数学文章問題の解決、定理証明（形式的および非形式的）、幾何学的問題解決（注釈あり・なし）、数学の質問応答、およびその他の定量的推論（例：科学、ファイナンス、プログラミング）。
• MathQA、SVAMP、CoqGym、Geometry3K、DROP、ScienceQAなど20以上の主要なデータセットをレビューし、サイズ、モダリティ、アノテーションタイプの詳細な統計を提示する。
• 深層学習モデルを3つの主要なファミリーに分類する：(1) シーケンス・トゥ・シーケンスモデル（例：DNS、AnsRat）、(2) グラフベースのモデル（例：GTS、Graph2Tree）、(3) アテンションベースのモデル（例：Math-EN、GROUP-ATT）。
• 事前学習された言語モデル（例：GenBERT、Minerva）と、自己教師学習および微調整によるその応用を分析する。
• 少数の例を用いたコンテキスト内学習技術、特にFew-shot Chain-of-Thought Prompting（例：Few-shot-CoT）と自己一貫性（self-consistency）を検討し、推論の汎用性を向上させる。
• 図1に示す構造的分類体系（タスク、データセット、手法を統合）を提案し、今後の研究とモデル開発を支援する。

実験結果

リサーチクエスチョン

• RQ1 数学的推論タスクの主なカテゴリは何であり、入力モダリティ、アノテーション、推論の複雑さの観点からどのように異なるか？
• RQ2 初期のシーケンス・トゥ・シーケンスモデルから、現代のグラフおよびトランスフォーマー基盤アーキテクチャに至るまで、深層学習モデルのアーキテクチャと学習戦略はどのように進化してきたか？
• RQ3 教師あり微調整と比較して、事前学習された言語モデルとコンテキスト内学習は、数学的推論ベンチマークでのパフォーマンスをどの程度向上させるか？
• RQ4 現在のデータセットとベンチマークは、数学的推論における汎用性と耐性の評価において、どのような主な制限を抱えているか？
• RQ5 解釈可能で信頼性が高く、汎用的なAIシステムを数学的推論に向け開発するにあたり、残された主な課題は何か？

主な発見

• 数学的推論に深層学習を用いた論文の数は、2018年の約10件から2022年には66件に増加しており、研究の急速な成長を示している。
• Minerva や GenBERT などの事前学習された言語モデルは、特にコンテキスト内学習と組み合わせることで、数学的推論ベンチマークで強力なパフォーマンスを発揮している。
• グラフベースおよび木構造モデル（例：Graph2Tree、AST-Dec）は、記号的および構造的関係をよりよく捉えるため、複雑な数学文章問題において標準的なシーケンス・トゥ・シーケンスモデルを上回る性能を示している。
• チェーン・オブ・トゥークプロンプティングを用いたコンテキスト内学習（例：Few-shot-CoT）は、MathQA や GSM8K などのタスクにおけるゼロショット汎用性を顕著に向上させている。
• ScienceQA（21,208例） や Geometry3K（1,000件以上の注釈付き幾何学的問題） などのデータセットは、マルチモーダルおよびマルチドメイン推論を支援しているが、規模と多様性の点で依然として限界がある。
• 進展は見られても、モデルは分布外の汎用性、レアな演算、複雑な図表や複数ステップの論理的連鎖の推論に対して依然として困難を抱えている。