[論文レビュー] DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data

Huajian Xin, Daya Guo+7 more|arXiv (Cornell University)|May 23, 2024

Scientific Computing and Data Management被引用数 4

ひとこと要約

この論文では、高校および大学レベルの数学コンテスト問題から800万件の合成Lean 4証明を生成する反復的フレームワークであるDeepSeek-Proverを紹介する。DeepSeekMath 7Bの反復的微調整に加え、自動形式化、仮説拒否、および反復的微調整を組み合わせることで、64サンプルでminiF2Fにおいて46.3%の全証明生成精度を達成し、GPT-4（23.0%）および先行SOTA手法（41.0%）を上回った。また、GPT-4が完全に失敗した148問中の5問のFIMO問題を証明した。

ABSTRACT

Proof assistants like Lean have revolutionized mathematical proof verification, ensuring high accuracy and reliability. Although large language models (LLMs) show promise in mathematical reasoning, their advancement in formal theorem proving is hindered by a lack of training data. To address this issue, we introduce an approach to generate extensive Lean 4 proof data derived from high-school and undergraduate-level mathematical competition problems. This approach involves translating natural language problems into formal statements, filtering out low-quality statements, and generating proofs to create synthetic data. After fine-tuning the DeepSeekMath 7B model on this synthetic dataset, which comprises 8 million formal statements with proofs, our model achieved whole-proof generation accuracies of 46.3% with 64 samples and 52% cumulatively on the Lean 4 miniF2F test, surpassing the baseline GPT-4 at 23.0% with 64 samples and a tree search reinforcement learning method at 41.0%. Additionally, our model successfully proved 5 out of 148 problems in the Lean 4 Formalized International Mathematical Olympiad (FIMO) benchmark, while GPT-4 failed to prove any. These results demonstrate the potential of leveraging large-scale synthetic data to enhance theorem-proving capabilities in LLMs. Both the synthetic dataset and the model will be made available to facilitate further research in this promising field.

研究の動機と目的

• 大規模な自動定理証明（ATP）における言語モデル（LLM）の訓練に必要な高品質な形式証明データの不足に取り組むこと。
• 非形式的数学的問題から高品質な合成形式証明データのスケーラビリティと品質を向上させること。
• 反復的合成データ生成と微調整を通じて、LLMの形式定理証明における性能を向上させること。
• miniF2FやFIMOなどの標準化されたATPベンチマークで、GPT-4などの既存モデルを上回るLLMの性能を実現すること。
• 研究の促進を目的として、大規模な合成データセットと微調整済みモデルを公開すること。

提案手法

• ゼロショットLLMプロンプトを用いて、非形式的な高校および大学レベルの数学コンテスト問題を形式的Lean 4文に翻訳する。
• 品質スコアリングモデルを用いて低品質な文をフィルタリングし、仮説拒否戦略により一貫性のない仮説を除外する。
• 大規模言語モデルを用いて形式的文の証明を生成し、Lean 4の検証器を用いて正しさを検証する。
• 高品質で検証済みの定理-証明ペアに基づき、複数のサイクルにわたりLLMを再トレーニングすることで、証明品質を段階的に向上させる。
• 成功時に早期終了するように、同時に命題とその否定の両方を並列に証明することで、証明生成を加速する。
• ATPタスク向けに、得られた800万件の合成形式的文-証明ペアでDeepSeekMath 7Bモデルを微調整する。

Figure 1 : An overview of our approach.

実験結果

リサーチクエスチョン

• RQ1 非形式的数学問題から生成された大規模な合成証明データは、LLMの形式定理証明における性能を顕著に向上させることができるか？
• RQ2 検証済み証明を再利用する反復的トレーニングフレームワークは、段階的に向上する証明生成品質をもたらすか？
• RQ3 標準化されたATPベンチマークで、GPT-4 や強化学習ベースラインと比較して、合成データ生成が優れた性能を発揮できるか？
• RQ4 合成形式データでトレーニングされたLLMは、複雑なコンテストレベルの問題に対してどれほど一般化できるか？
• RQ5 自動形式化プロセス中に論理的に一貫性のない形式化をモデルが同定・拒否できるか？

主な発見

• DeepSeek-Proverモデルは、64サンプルでminiF2Fテストセットにおいて46.3%の全証明生成精度を達成し、GPT-4の23.0%および先行の強化学習手法の41.0%を上回った。
• 100サンプルで、FIMOベンチマークの148問中4問を解決したが、GPT-4は0問を解決した。
• 4096サンプルで、FIMOベンチマークで5問を解決し、複雑なオリンピックレベルの問題に対する強力なスケーラビリティと能力を示した。
• アブレーションスタディの結果、各イテレーションでminiF2Fにおけるモデル性能が段階的に向上しており、反復的トレーニングループの有効性が確認された。
• 事例研究において、一貫性のない形式化を正しく同定・拒否したことで、誤った仮説を検出する能力の高さが示された。
• 800万件の形式的文と証明を含む合成データセットに加え、微調整済みのDeepSeekMath 7Bモデルを公開し、形式的定理証明分野における今後の研究を支援する。