[論文レビュー] A Survey on Deep Learning for Theorem Proving

Zhaoyu Li, Jialiang Sun+6 more|arXiv (Cornell University)|Apr 15, 2024

Logic, programming, and type systems被引用数 6

ひとこと要約

深層学習手法による定理証明の総合調査で、タスク（自動形式化、前提選択、証明手順生成、証明探索）、データセット、評価指標、そして informal および formal 証明設定における今後の方向性を網羅する。

ABSTRACT

Theorem proving is a fundamental aspect of mathematics, spanning from informal reasoning in natural language to rigorous derivations in formal systems. In recent years, the advancement of deep learning, especially the emergence of large language models, has sparked a notable surge of research exploring these techniques to enhance the process of theorem proving. This paper presents a comprehensive survey of deep learning for theorem proving by offering (i) a thorough review of existing approaches across various tasks such as autoformalization, premise selection, proofstep generation, and proof search; (ii) an extensive summary of curated datasets and strategies for synthetic data generation; (iii) a detailed analysis of evaluation metrics and the performance of state-of-the-art methods; and (iv) a critical discussion on the persistent challenges and the promising avenues for future exploration. Our survey aims to serve as a foundational reference for deep learning approaches in theorem proving, inspiring and catalyzing further research endeavors in this rapidly growing field. A curated list of papers is available at https://github.com/zhaoyu-li/DL4TP.

研究の動機と目的

• 定理証明に対する深層学習アプローチの系統的レビューを、自動形式化、前提選択、証明手順生成、証明探索などのタスクを横断して提供する。
• DL4TPで使用される利用可能なデータセットとデータ生成戦略を要約する。
• 最先端手法の評価指標と性能を分析する。
• 証明のための DL における課題を議論し、今後の研究方向を提案する。

提案手法

• タスク別に DL アプローチを分類する（自動形式化、前提選択、証明手順生成、証明探索、その他）。
• 非公式/公式ソースからのデータセットと合成データ生成技術を要約する。
• 評価指標（例：R@k、MRR、BLEU）を検討し、MiniF2F、LeanDojo、PISA などのデータセットでのベンチマーク性能を評価する。
• データ生成手法（ルールベースの生成器、反復的データ拡張、自動(内)形式化）について論じる。
• 失敗例、注意点、ヒトとAI の相互作用に関する考慮事項を強調する。

実験結果

リサーチクエスチョン

• RQ1 定理証明を推進する主な DL タスクは何で、それらは現在どのように対処されているか。
• RQ2 DL4TP のデータセットとデータ生成戦略にはどのようなものがあり、それらは評価にどう影響するか。
• RQ3 進捗を最もよく反映する指標とベンチマークは何か、現在の評価の限界は何か。
• RQ4 DL4TP の進歩を妨げる主な課題は何か、そして最も有望な今後の方向性は何か。

主な発見

• DL4TP は 2016年の約2論文から2023年には約50論文へと拡大し、自動形式化、前提選択、証明手順生成、証明探索を網羅している。
• 前提選択は dense retrieval (DPR) と式のグラフ表現の利点を活かし、LeanDojo や PISA などのベンチマークでリコールと MR R を向上させる。
• 構造化フレームワークにおける LLM（例: GPT-4）による最先端の証明生成と探索は、戦術ベースのアプローチに対して顕著な向上を達成しており、例として LEGO-Prover が MiniF2F-valid で 57.0%、MiniF2F-test で 50.0% を達成。
• Few-shot LLM プロンプティングによる自動形式化は控えめな成功を示す（例: 高校レベル問題で 25%、学部レベル問題で 13%）が、 informalization ではより高い成功率（約 60-76%）を示し、主要な課題を浮き彫りにしている。
• 評価は証明支援ツール間の相違、リソース制約、設定への感度によって複雑であり、分野横断の標準化比較は依然として困難である。
• データ不足は大きなボトルネックであり、Archive of Formal Proofs や mathlib などの公式アーカイブはかなりのデータを提供するが、非常に大規模なモデルにはまだ不十分なデータを提供している。