[論文レビュー] NaturalProver: Grounded Mathematical Proof Generation with Language Models

Sean Welleck, Jiacheng Liu+3 more|arXiv (Cornell University)|May 25, 2022

Mathematics, Computing, and Information Processing被引用数 7

ひとこと要約

NaturalProver は、大規模言語モデルを用いて、背景参照（例：定理、定義）を取得または提供することで、自然言語で根拠のある数学的証明を生成する。制約付きデコードを用いて参照の使用を強制することで、次ステップの提案における正しさと有用性が40％以上で評価され、短い（2〜6ステップ）定理について有効な証明を生成する。これは、この文脈における神経言語モデルで初めての成功例である。

ABSTRACT

Theorem proving in natural mathematical language - the mixture of symbolic and natural language used by humans - plays a central role in mathematical advances and education, and tests aspects of reasoning that are core to intelligence. Yet it has remained underexplored with modern generative models. We study large-scale language models on two new generation tasks: suggesting the next step in a mathematical proof, and full proof generation. We develop NaturalProver, a language model that generates proofs by conditioning on background references (e.g. theorems and definitions that are either retrieved or human-provided), and optionally enforces their presence with constrained decoding. On theorems from the NaturalProofs benchmark, NaturalProver improves the quality of next-step suggestions and generated proofs over fine-tuned GPT-3, according to human evaluations from university-level mathematics students. NaturalProver is capable of proving some theorems that require short (2-6 step) proofs, and providing next-step suggestions that are rated as correct and useful over 40% of the time, which is to our knowledge the first demonstration of these capabilities using neural language models.

研究の動機と目的

• 大規模言語モデルが、記号的推論とテクスト的推論を統合した自然言語で数学的に妥当な証明を生成できるようにすること。
• 証明生成における根拠の欠如を解消するため、定理や定義などの外部参照に条件づけること。
• 神経言語モデルが数学的推論や教育分野におけるインタラクティブな支援としての可能性を評価すること。
• 現在のモデルが、複数ステップにわたる証明における論理的整合性、根拠の質、記号的導出の維持において、どのような限界を示しているかを調査すること。

提案手法

• NaturalProver は、知識ベースから取得したか、ユーザーが提供した背景参照に条件づけて証明を生成する。
• 訓練中に参照再構築を実施し、参照のタイトルをその完全な内容にマッピングすることで、根拠の明確化を実現する。
• 推論段階では、文脈内での参照制約を適用して生成をガイドし、関連する定理や定義が組み込まれるよう保証する。
• ステップごとの制約付きデコードを用いて、指定された参照が証明ステップに組み込まれるよう強制し、整合性と正しさを向上させる。
• モデルは、ProofWiki から収集された12.5k組の定理・証明ペアを含む NaturalProofs-Gen データセットでファインチューニングされている。
• 人間による評価は、大学レベルの数学学生を対象として、生成された証明の正しさ、有用性、エラーの種別を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、高い正しさと有用性で、自然言語証明における次ステップを数学的に妥当に生成できるか？
• RQ2 外部参照に根拠を置くことで、神経モデルが短い定理（2〜6ステップ）について完全で正しい証明を生成できるか？
• RQ3 参照の使用を強制する制約付きデコードは、標準的な自己回帰的生成と比較して、証明の質をどのように向上させるか？
• RQ4 現在の言語モデルが、特に推論と記号的導出において、主な失敗モードは何か？
• RQ5 参照の根拠を伴う検索拡張生成は、証明の信頼性と整合性をどの程度向上させるか？

主な発見

• 人間による評価で、NaturalProver は次ステップ提案の正しさが42.86％、有用性が51.43％を記録し、神経言語モデルを用いたこの種の性能の初の実証である。
• ベースモデルでは、完全な証明が正しくて有用であると評価される割合が26.30％と24.30％であり、制約付きデコードを適用した NP++ では、それぞれ35.41％と46.57％に向上した。
• 参照関連の誤り（例：架空または無効な参照）は、GPT-3 の4.61％から NaturalProver の1.05％に減少し、根拠の明確化が向上したことが示された。
• 記号的導出の誤りは顕著に減少した：無効な導出は GPT-3 の24.56％から NaturalProver の15.64％に低下し、方程式の誤りは32.54％から26.32％に減少した。
• 推論の整合性は向上し、NaturalProver では参照の誤りが19.70％だったのに対し、GPT-3 では30.92％だった。また、GPT-3 では無効な根拠が15.21％であったが、NaturalProver では9.62％に低下した。
• 改善は見られたが、長めの証明や複数ステップにわたる導出、根拠の質において、依然として論理的整合性の維持に困難を示しており、神経推論における継続的な課題が浮き彫りになった。