[論文レビュー] Mathematics, word problems, common sense, and artificial intelligence

Ernest Davis|arXiv (Cornell University)|Jan 23, 2023

Mathematics, Computing, and Information Processing被引用数 8

ひとこと要約

この論文は、共通感覚と世界知識を要する数学の語問題を解く際の現在のAI、特に大規模言語モデルの能力と限界を分析し、アプローチ、ベンチマーク、実験結果を検討する。

ABSTRACT

The paper discusses the capacities and limitations of current artificial intelligence (AI) technology to solve word problems that combine elementary knowledge with commonsense reasoning. No existing AI systems can solve these reliably. We review three approaches that have been developed, using AI natural language technology: outputting the answer directly, outputting a computer program that solves the problem, and outputting a formalized representation that can be input to an automated theorem verifier. We review some benchmarks that have been developed to evaluate these systems and some experimental studies. We discuss the limitations of the existing technology at solving these kinds of problems. We argue that it is not clear whether these kinds of limitations will be important in developing AI technology for pure mathematical research, but that they will be important in applications of mathematics, and may well be important in developing programs capable of reading and understanding mathematical content written by humans.

研究の動機と目的

• elementary mathematics と world knowledge and commonsense を組み合わせた問題の種類を明確化する。
• 現在のAIアプローチ（言語モデル、コード生成、形式化）がこれらの問題に対してどのように機能するかを評価する。
• 共通感覚の数学語問題におけるAIの性能を評価するベンチマークと実験を検討する。
• AIの制限と、それが教育におけるAI駆動の数学教育や人間が読みやすい数学的内容に与える影響を議論する。）
• objective: []

提案手法

• 問題を次のカテゴリに分類する：symbolic、word problems、real-world word problems、commonsense word problems (CSW)、および elementary CSWs。
• 語問題に対する3つのAIアプローチを説明する：直接回答生成、問題を解くコード生成、 verifier へ形式仕様を入力する自動形式化。
• 大規模言語モデル（LLM）の特性を要約する：訓練、プロンプティング、幻覚などの制限を含む。
• ベンチマーク（SVAMP、Līla）とデータ品質の懸念、未検証の能力を含むベンチマークの問題を検討する。
• 問題カテゴリ全体でのLLMの性能に関する文献の実験結果を提示し、IID vs. OOD設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 現在のAI技術が共通感覚推論を伴う語問題を解く能力と限界はどのようなものか。
• RQ2 3つのAIアプローチ（直接回答、コード生成、形式化）は共通感覚数学語問題でどのように機能するか。
• RQ3 数学の語問題を評価するためのベンチマークは何があり、それは現在の能力とギャップについて何を示しているか。
• RQ4 AIの制限が数学教育への応用や人間が書いた数学内容の読解・理解に与える影響は何か。

主な発見

• LLMsは言語タスクでは良好に機能するが、現実世界の知識と数学の統合を要する共通感覚の語問題を安定して解くことは困難である。
• コード生成アプローチ（例：Codex）は語問題を実行可能なコードへ翻訳できるが、訓練データのパターンに依存する場合があり、非自明なケースや問題仕様が変わると失敗することがある。
• Isabelle への自動形式化は一部の問題を形式的証明へ翻訳できるが成功は限定的で（ tested cases で約25% の完全翻訳）。
• ベンチマーク結果はカテゴリごとに大きなばらつきを示し、基本的な数学の性能は幾何・微積分などの統合カテゴリより高い傾向があり、OOD設定での問題が顕著である。
• AI の数学的能力、共通感覚推論、形式的数学内容の信頼性ある操作の間には診断的なギャップがあり、教育や数学理解の応用に影響を与える。