[論文レビュー] Limits of an AI program for solving college math problems

Ernest Davis|arXiv (Cornell University)|Aug 14, 2022

Artificial Intelligence in Education被引用数 41

ひとこと要約

本論文は Drori et al. 2022 を批判し、問題解法を Sympy が実行し、ニューラル成分は主に入力を整えるだけであると主張する。81% の成功主張を疑問視し、方法論と解釈の問題を強調している。

ABSTRACT

Drori et al. (2022) report that "A neural network solves, explains, and generates university math problems by program synthesis and few-shot learning at human level ... [It] automatically answers 81\% of university-level mathematics problems." The system they describe is indeed impressive; however, the above description is very much overstated. The work of solving the problems is done, not by a neural network, but by the symbolic algebra package Sympy. Problems of various formats are excluded from consideration. The so-called "explanations" are just rewordings of lines of code. Answers are marked as correct that are not in the form specified in the problem. Most seriously, it seems that in many cases the system uses the correct answer given in the test corpus to guide its path to solving the problem.

研究の動機と目的

• システムが大学レベルの数学問題をどのように解くのか、どのコンポーネントが責任を負っているのかを評価する。
• 主張された81%の成功率の妥当性と学習設定（zero-shot 対 few-shot）を評価する。
• 問題フォーマット、問題文、提供された説明や出力との不一致を特定する。
• 説明の性質を検討し、それらが問題解法を意味的に明らかにするかどうかを評価する。

提案手法

• 問題解決パイプラインと解法過程における Sympy の役割についての記述的批評。
• 主張された性能を GPT-3 および他のベースラインの結果と比較。
• 問題フォーマット、入力の適応、解答と問題要件の整合性を検討。
• 報告された説明の分析と、それらが学習や理解に有用であるかどうか。

実験結果

リサーチクエスチョン

• RQ1 システム内で実際に数学的解法を行うのはどのコンポーネントか（ニューラルネットワーク vs 象徴計算パッケージ）？
• RQ2 報告された81%の成功率は、問題タイプやフォーマット全体でシステムの能力を正確に反映しているか？
• RQ3 主張された説明と few-shot の追加は方法論的に妥当で、実際に教育的なのか？
• RQ4 問題フォーマットと評価基準は報告された成果にどのように影響するか？
• RQ5 システムが解法の指針としてテストコーパスの回答や採点アーティファクトにどの程度依存しているのか？

主な発見

• 実際の解法作業はニューラルネットワークではなく Sympy によって行われている。
• 画像や証明を含む問題を解くことはできず、81% の主張に異議を唱える。
• いくつかの出力は元の問題の要求された形式になっていない。
• 説明は意味のある問題解説というより、主に行ごとのコード記述で構成されている。
• zero-shot および few-shot 学習がどのようにトリガーされるか、また過程がコーパスの正解を活用しているかどうかについて懸念がある。
• 論文の著者表記と方法論の詳細は、不備や誤表現の可能性を示唆している。