[論文レビュー] NaturalProofs: Mathematical Theorem Proving in Natural Language

Sean Welleck, Jiacheng Liu+4 more|arXiv (Cornell University)|Mar 24, 2021

Topic Modeling参考文献 47被引用数 12

ひとこと要約

本稿では、ProofWiki、Staks Project、教科書から抽出したデータを統合して作成された、自然言語で記述された数学的定理および証明のマルチドメインコーパス「NaturalProofs」を紹介する。このコーパスは、記号的表記と自然言語を併用した形で構成されており、神経系列モデルの数学的参照検索および生成タスクにおけるベンチマークを提供する。結果として、大規模なモデルはドメイン内では古典的手法を上回るが、ゼロショット一般化や完全な参照回復には依然として困難を抱えることが示された。

ABSTRACT

Understanding and creating mathematics using natural mathematical language - the mixture of symbolic and natural language used by humans - is a challenging and important problem for driving progress in machine learning. As a step in this direction, we develop NaturalProofs, a multi-domain corpus of mathematical statements and their proofs, written in natural mathematical language. NaturalProofs unifies broad coverage, deep coverage, and low-resource mathematical sources, allowing for evaluating both in-distribution and zero-shot generalization. Using NaturalProofs, we benchmark strong neural methods on mathematical reference retrieval and generation tasks which test a system's ability to determine key results that appear in a proof. Large-scale sequence models show promise compared to classical information retrieval methods, yet their performance and out-of-domain generalization leave substantial room for improvement. NaturalProofs opens many avenues for research on challenging mathematical tasks.

研究の動機と目的

• 機械学習分野における非形式的数学的推論に関する研究ギャップを埋めるために、自然言語で記述された数学的命題および証明の統一コーパスを構築すること。
• 数学的推論におけるドメイン内およびゼロショットのドメイン外一般化の両方の評価を可能にする。
• 人間の証明構築のコアな側面を模倣するため、数学的参照検索および生成のための神経手法の開発とベンチマーク化。
• 非形式的数学的議論と形式的検証、教育的応用を橋渡しすることで、自動推論分野の進展を支援すること。
• 研究を促進するため、公開可能なデータセットおよびコードベースを提供し、自然言語に基づく数学的推論および定理証明分野における研究を促進すること。

提案手法

• ProofWikiからの広域カバレッジのデータ、Stacks Projectからの高カバレッジのデータ、低リソースの教科書データを、共通のスキーマに統合してマルチドメインコーパスを構築する。
• 数学的命題および証明を、LaTeX環境の分類（例：定理、定義、証明）をデータ型にマッピングすることで表現し、一貫性のあるフォーマットとメタデータを提供する。
• 数学的参照検索タスクを設計：与えられた定理に対して、その証明内で参照されている（定理、補題、定義）の集合を検索する。
• 検索タスクを拡張し、証明内の参照の識別および順序の回復を要件とする参照生成タスクを導入する。
• 2つの神経モデルを実装および評価する：BERTエンコーダーを用いたペairワイズスコアリングモデル（定理-参照マッチング用）、エンドツーエンドの参照生成を目的とした共同パrameterizationモデル。
• 性能向上のため、ネガティブな参照サンプリングを用いたコントラスト学習目的関数を導入し、推論時に全参照セットでのファインチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 神経系列モデルは、自然言語による証明における与えられた数学的定理に対して、関連する参照を効果的に検索できるか？
• RQ2 教科書やStacks Projectのようなドメイン外の新規定理に対して、神経モデルはどの程度一般化できるか？
• RQ3 単なる検索をはるかに超えて、証明における参照の正しい数および順序を回復できるか？
• RQ4 非形式的数学的推論の文脈において、大規模な神経モデルは古典的手法と比較してどの程度優れているか？
• RQ5 現在の神経モデルが、数学的証明における記号的・論理的構造をどの程度適切に捉えられず、その主な制限要因は何か？

主な発見

• 大規模な神経系列モデルはドメイン内での数学的参照検索タスクにおいて、古典的手法を上回る性能を示した。
• 神経モデルは参照シーケンスの生成において有望な結果を示したが、証明における正しい参照の数および順序を完全に回復することは困難であった。
• ドメイン外一般化は依然として大きな課題であり、数学的推論におけるドメインシフトへの耐性が限定的であることが示された。
• 共同パrameterizationの使用により、ランク上位のリストの精緻化が図られ、エンドツーエンド学習の利点が示された。
• ドメイン内での強力な性能にもかかわらず、神経モデルは依然として記号的数学的コンテンツを効果的に活用して推論を行うには至っていない。
• NaturalProofsコーパスは、多様な数学的ドメインにわたり、検索および生成タスクの両方の評価を可能にし、非形式的定理証明分野における今後の研究の基盤を提供する。