[논문 리뷰] DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data

Huajian Xin, Daya Guo외 7명|arXiv (Cornell University)|2024. 05. 23.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 고등학교 및 학부 수학 경시 문제에서 800만 개의 합성 Lean 4 증명을 생성하는 반복적 프레임워크인 DeepSeek-Prover를 소개한다. DeepSeekMath 7B의 자동형식화, 가설 기각 및 반복적 미세조정을 결합한 방법은 miniF2F에서 64개의 샘플로 46.3%의 전체 증명 생성 정확도를 달성하여 GPT-4(23.0%)와 이전 최고 성능 방법(41.0%)을 뛰어넘으며, GPT-4가 완전히 실패한 148개의 FIMO 문제 중 5개를 증명하는 데 성공한다.

ABSTRACT

Proof assistants like Lean have revolutionized mathematical proof verification, ensuring high accuracy and reliability. Although large language models (LLMs) show promise in mathematical reasoning, their advancement in formal theorem proving is hindered by a lack of training data. To address this issue, we introduce an approach to generate extensive Lean 4 proof data derived from high-school and undergraduate-level mathematical competition problems. This approach involves translating natural language problems into formal statements, filtering out low-quality statements, and generating proofs to create synthetic data. After fine-tuning the DeepSeekMath 7B model on this synthetic dataset, which comprises 8 million formal statements with proofs, our model achieved whole-proof generation accuracies of 46.3% with 64 samples and 52% cumulatively on the Lean 4 miniF2F test, surpassing the baseline GPT-4 at 23.0% with 64 samples and a tree search reinforcement learning method at 41.0%. Additionally, our model successfully proved 5 out of 148 problems in the Lean 4 Formalized International Mathematical Olympiad (FIMO) benchmark, while GPT-4 failed to prove any. These results demonstrate the potential of leveraging large-scale synthetic data to enhance theorem-proving capabilities in LLMs. Both the synthetic dataset and the model will be made available to facilitate further research in this promising field.

연구 동기 및 목표

• 자동 정리 증명(ATP)에서 LLM을 훈련하기 위한 고품질의 공식 증명 데이터 부족 문제를 해결하기 위해.
• 비공식 수학 문제에서부터 고급 공식 증명 데이터의 스케일링 및 품질을 향상시키기 위해.
• 반복적인 합성 데이터 생성 및 미세조정을 통해 LLM의 공식 정리 증명 성능을 향상시키기 위해.
• miniF2F 및 FIMO와 같은 표준 ATP 벤치마크에서 GPT-4와 같은 기존 모델을 능가할 수 있도록 LLM의 성능을 향상시키기 위해.
• 공식 수학적 추론 분야의 연구를 가속화하기 위해 대규모 합성 데이터셋과 미세조정된 모델을 공개하기 위해.

제안 방법

• 영감 없는 고등학교 및 학부 수학 경시 문제를 Zero-shot LLM 프롬프트를 사용하여 공식 Lean 4 문장으로 번역하기.
• 품질 평가 모델을 통해 저품질 문장을 걸러내고, 가설 기각 전략을 통해 일관성 없는 가설을 거부하기.
• 대규모 언어 모델을 사용해 공식 문장에 대한 증명을 생성하고, Lean 4 검증기를 사용해 정확성을 검증하기.
• 고품질의 검증된 정리-증명 쌍을 기반으로 LLM을 반복적으로 재훈련하여 여러 라운드 동안 증명 품질을 향상시키기.
• 성공 시 조기에 종료하는 것을 목표로, 동시에 문장과 그 부정을 증명하여 증명 생성을 가속화하기.
• ATP 작업을 위해 800만 개의 합성 공식 문장-증명 쌍에 기반해 DeepSeekMath 7B 모델을 미세조정하기.

Figure 1 : An overview of our approach.

실험 결과

연구 질문

• RQ1 비공식 수학 문제에서 생성된 대규모 합성 증명 데이터가 LLM의 공식 정리 증명 성능을 크게 향상시킬 수 있는가?
• RQ2 검증된 증명을 재사용하는 반복적 훈련 프레임워크가 점차적으로 향상된 증명 생성 품질을 이끌 수 있는가?
• RQ3 기존 최고 성능 방법인 GPT-4나 강화 학습 기반 방법보다 합성 데이터 생성이 표준 ATP 벤치마크에서 승리할 수 있는가?
• RQ4 합성 공식 데이터로 훈련된 LLM이 복잡한 경시 수준의 문제에 얼마나 잘 일반화되는가?
• RQ5 자동형식화 과정에서 논리적으로 일관성 없는 형식화를 모델이 식별하고 기각할 수 있는가?

주요 결과

• DeepSeek-Prover 모델은 64개의 샘플로 miniF2F 테스트 세트에서 46.3%의 전체 증명 생성 정확도를 달성하여 GPT-4의 23.0%와 이전 강화 학습 방법의 41.0%를 뛰어넘었다.
• 100개의 샘플로 FIMO 벤치마크에서 148개 문제 중 4개를 해결했고, GPT-4는 아무것도 해결하지 못했다.
• 4096개의 샘플로 FIMO 벤치마크에서 5개의 문제를 해결하여 복잡한 올림피아드 수준 문제에서 뛰어난 확장성과 능력을 입증했다.
• 제거 실험을 통해 각 반복 주기마다 miniF2F에서의 모델 성능이 점차 향상되었으며, 반복적 훈련 루프의 효과성을 확인했다.
• 사례 연구에서 모델은 일관성 없는 형식화를 성공적으로 식별하고 기각하여, 오류 가설을 탐지하는 데 있어 강건함을 입증했다.
• 증명이 포함된 800만 개의 공식 문장으로 구성된 합성 데이터셋과 미세조정된 DeepSeekMath 7B 모델이 공개되어 향후 공식 정리 증명 분야의 연구를 지원한다.