[논문 리뷰] ProofNet: Autoformalizing and Formally Proving Undergraduate-Level Mathematics

Zhangir Azerbayev, Bartosz Piotrowski외 4명|arXiv (Cornell University)|2023. 02. 24.

Mathematics, Computing, and Information Processing인용 수 14

한 줄 요약

ProofNet은 Lean 3에서의 371개의 병렬 비형식 및 형식적 수학 진술과 증명에 대한 벤치마크이며, 기본 벤치마크 결과와 두 가지 새로운 자동 형식화 방법(프롬프트 검색 및 증류된 역번역)을 제공합니다.

ABSTRACT

We introduce ProofNet, a benchmark for autoformalization and formal proving of undergraduate-level mathematics. The ProofNet benchmarks consists of 371 examples, each consisting of a formal theorem statement in Lean 3, a natural language theorem statement, and a natural language proof. The problems are primarily drawn from popular undergraduate pure mathematics textbooks and cover topics such as real and complex analysis, linear algebra, abstract algebra, and topology. We intend for ProofNet to be a challenging benchmark that will drive progress in autoformalization and automatic theorem proving. We report baseline results on statement autoformalization via in-context learning. Moreover, we introduce two novel statement autoformalization methods: prompt retrieval and distilled backtranslation.

연구 동기 및 목표

• Lean 3에서의 비형식 및 형식적 학부 수학 진술과 증명의 병렬 데이터셋을 제공하여 자동 형식화 및 정리 증명 연구를 이끕니다.
• ProofNet 내의 자동 형식화 및 비형식화 작업에서 기존 언어 모델을 평가합니다.
• 큰 병렬 말뭉치 없이 자동 형식화 성능을 높이기 위한 기법을 제안하고 평가합니다.
• 수학 데이터를 학습한 오픈소스 모델을 시연하고 그 강점과 한계를 분석합니다.

제안 방법

• Lean 3의 371개의 병렬 형식 진술, 대응하는 자연어 진술 및 자연어 증명을 포함하여 ProofNet을 구성합니다.
• 대형 언어 모델을 이용한 자동형식화를 위한 인-context 학습 베이스라인을 평가합니다.
• 관련 Lean mathlib 진술을 사용하여 few-shot 프롬프트를 보강하기 위한 프롬프트 검색을 도입합니다.
• 병렬 데이터 없이 자동 형식화를 미세조정하기 위한 증류된 역번역을 개발합니다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 비형식 정리를 Lean 3 형식으로 자동 형식화하는 성능은 어느 수준인가?
• RQ2 검색 증강 프롬프트와 증류된 역번역이 few-shot 베이스라인보다 자동 형식화 성능을 향상시키는가?
• RQ3 ProofNet의 형식화 및 비형식화 과제에서 현재 모델의 강점과 실패 모드는 무엇인가?
• RQ4 수학이 풍부한 말뭉치로 학습된 오픈소스 수학 중심 모델이 자동 형식화 과제에서 블랙박스 API 벤치마크에 대적할 수 있는가?

주요 결과

모델	형식화 Typecheck 비율	형식화 BLEU	형식화 정확도	비형식화 컴파일 비율	비형식화 BLEU	비형식화 정확도
Few-shot. proofGPT-1.3B	5.9	8.1	0	0.77	5.1	4.3
Few-shot. proofGPT-6.7B	4.3	4.7	0	0.70	6.0	6.5
Few-shot. Codex	23.7	25.1	13.4	100	13.2	62.3
Prompt retrieval. Codex	45.2	14.8	16.1	-	-	-
Dist. backtrans. proofGPT-1.3B	19.4	10.7	3.2	-	-	-

• 인-context 학습 베이스라인은 의미 있는 형식화 성능을 달성하지만 완벽에 가깝지는 않다(예: few-shot 설정에서 Code-davinci-002의 형식화 정확도 13.4%).
• 프롬프트 검색은 표준 few-shot 프롬프팅과 비교해 형식화 정확도와 typecheck 비율을 크게 향상시킨다.
• 증류된 역번송은 작은 모델들의 자동 형식화 성능을 인-context 학습 베이스라인을 넘어서 향상시킨다.
• 비형식화는 모델 전반에서 형식화보다 쉽고, 비형식 증명과 진술 생성의 정확도가 더 높다.
• BLEU는 형식화 성능과 잘 상관되지 않는 반면, typecheck 비율이 자동 형식화 성공의 더 나은 예측 지표로 작용한다.
• Code-davinci-002는 typecheck 가능한 형식화를 생성할 때 강한 의미 해석력을 보여주지만 많은 출력은 신중한 검증이 필요하다.