[논문 리뷰] Formal Mathematics Statement Curriculum Learning

Stanislas Polu, Jesse Michael Han외 4명|arXiv (Cornell University)|2022. 02. 03.

Natural Language Processing Techniques인용 수 24

한 줄 요약

논문은 전문가 반복(학습과 상호작용하는 증명 탐색)이 증명 탐색 단독보다 형식 수학 증명 생성에 실질적인 개선을 가져오며, 점차 어려운 문제들로 구성된 커리큘럼과 curated 문제 집합을 통해 miniF2F에서 최첨단 결과를 달성한다.

ABSTRACT

We explore the use of expert iteration in the context of language modeling applied to formal mathematics. We show that at same compute budget, expert iteration, by which we mean proof search interleaved with learning, dramatically outperforms proof search only. We also observe that when applied to a collection of formal statements of sufficiently varied difficulty, expert iteration is capable of finding and solving a curriculum of increasingly difficult problems, without the need for associated ground-truth proofs. Finally, by applying this expert iteration to a manually curated set of problem statements, we achieve state-of-the-art on the miniF2F benchmark, automatically solving multiple challenging problems drawn from high school olympiads.

연구 동기 및 목표

• 형식 수학에서 자동 추론을 고무하고 무한한 행동 공간 및 증명 환경에서의 자기 놀이(self-play)의 부족 문제를 해결한다.
• GPT-f 스타일 모델을 이용하여 증명 탐색과 학습을 교차 배치하는 전문가 반복 프레임워크를 제안하고 평가한다.
• 다양한 난이도의 보조 형식 진술 세트가 쉽다에서 어려운 증명으로 이어지는 커리큘럼을 이끌 수 있음을 보인다.
• 선별된 진술 커리큘럼과 합성 문제 생성을 통해 miniF2F 벤치마크에서의 개선을 입증한다.

제안 방법

• 증명 단계(proofstep) 및 증명 크기(proofsize) 목표로 학습된 디코더 전용 Transformer(약 774M 파라미터)를 사용한다.
• 데이터 수집 및 상호 작용을 위한 Lean 정리 증명기 인터페이스로 lean-gym을 도입한다.
• 부트스트래핑: 웹 규모 데이터로 사전 학습한 다음 mathlib 전술 데이터로 미세 조정하고 데이터셋을 혼합한다.
• 전문가 반복을 적용한다: 증명 탐색을 반복적으로 샘플링하고 성공한 증명과 proofsize 데이터를 추출하며 기본 모델에서 미세 조정한다.
• 제어된 난이도(N_D, N_S)를 갖춘 커리큘럼 synth-ineq를 만들기 위해 합성 부등식 생성기를 개발한다.
• miniF2F 커리큘럼(miniF2F-curriculum)을 선별하고 mathlib/synth-ineq와 결합하여 miniF2F로의 전이(전달)를 목표로 한다.

실험 결과

연구 질문

• RQ1 고정된 계산 예산하에서 형식 수학에서 전문가 반복이 순수한 증명 탐색보다 성능을 앞설 수 있는가?
• RQ2 훈련과 증명 탐색을 교차시키는 것이 근거 증명 없이도 점차 어려운 커리큘럼을 해결하게 하는가?
• RQ3 선별된 및 합성 진술 커리큘럼이 배포 외 문제들(miniF2F out-of-distribution)에 대한 개선을 어느 정도까지 전달할 수 있는가?

주요 결과

• 동일한 계산 예산에서 전문가 반복은 증명 탐색 단독에 비해 증명 성공률을 상당히 향상시킨다.
• 자동으로 생성된 진술과 수동으로 선별된 진술로 구성된 커리큘럼이 모델이 점차 더 어려운 문제를 해결하도록 한다.
• 전체 커리큘럼 전이(mathlib-train + synth-ineq + miniF2F-curriculum)는 miniF2F-valid에서 최첨단 결과를 낳고 miniF2F-test 성능을 향상시킨다.
• 이 방법은 mathlib-valid에서 강한 성능을 달성하고 여러 AMC12 및 AIME 스타일 문제를 해결하며 miniF2F 벤치마크에서 기존 기준치를 능가한다.