[논문 리뷰] NaturalProver: Grounded Mathematical Proof Generation with Language Models

Sean Welleck, Jiacheng Liu외 3명|arXiv (Cornell University)|2022. 05. 25.

Mathematics, Computing, and Information Processing인용 수 7

한 줄 요약

NaturalProver는 배경 참조(예: 정리, 정의)를 검색하거나 사용자가 제공한 바탕으로 조건을 설정하여 자연어로 근거 있는 수학적 증명을 생성하는 대규모 언어 모델을 소개한다. 제약 조건을 적용한 디코딩을 통해 참조 사용을 강제함으로써 성능을 향상시킨다. 이 모델은 다음 단계 제안에서 인간 평가 기준으로 40퍼센트 이상의 정확성과 유용성을 달성하며, 짧은(2~6단계) 정리에 대해 유효한 증명을 생성한다. 이는 신경망 기반 언어 모델이 이 분야에서 처음으로 성공을 거둔 사례이다.

ABSTRACT

Theorem proving in natural mathematical language - the mixture of symbolic and natural language used by humans - plays a central role in mathematical advances and education, and tests aspects of reasoning that are core to intelligence. Yet it has remained underexplored with modern generative models. We study large-scale language models on two new generation tasks: suggesting the next step in a mathematical proof, and full proof generation. We develop NaturalProver, a language model that generates proofs by conditioning on background references (e.g. theorems and definitions that are either retrieved or human-provided), and optionally enforces their presence with constrained decoding. On theorems from the NaturalProofs benchmark, NaturalProver improves the quality of next-step suggestions and generated proofs over fine-tuned GPT-3, according to human evaluations from university-level mathematics students. NaturalProver is capable of proving some theorems that require short (2-6 step) proofs, and providing next-step suggestions that are rated as correct and useful over 40% of the time, which is to our knowledge the first demonstration of these capabilities using neural language models.

연구 동기 및 목표

• 대규모 언어 모델이 기호적 추론과 텍스트 추론을 융합하여 자연어로 수학적으로 타당한 증명을 생성할 수 있도록 하는 것.
• 외부 참조(예: 정리, 정의)를 조건으로 삼아 증명 생성 과정에서의 근거 부족 문제를 해결하는 것.
• 신경망 기반 언어 모델이 수학적 추론 및 교육 분야에서 상호작용형 보조 도구로 활용 가능한지의 가능성을 평가하는 것.
• 현재 모델이 다단계 증명에서 논리적 일관성, 근거 품질, 기호적 유도 과정 유지를 얼마나 잘 수행하는지에 대한 한계를 연구하는 것.

제안 방법

• NaturalProver는 배경 참조를 기반으로 증명 생성을 조건화하며, 이 참조는 지식 기반에서 검색되거나 사용자가 제공한다.
• 훈련 과정에서 참조 재구성 기법을 사용하여 참조 제목을 전체 내용으로 매핑함으로써 효과적인 근거 제공을 가능하게 한다.
• 추론 단계에서 인라인 참조 제약 조건을 적용하여 생성 과정을 이끌며, 관련 정리와 정의가 포함되도록 보장한다.
• 단계별로 제약 조건을 적용한 디코딩을 통해 특정 참조를 증명 단계에 반드시 포함시키도록 강제함으로써 증명의 일관성과 정확성을 향상시킨다.
• NaturalProofs-Gen 데이터셋을 기반으로 미세조정을 수행하였으며, 이는 ProofWiki에서 유래한 12.5만 개의 정리-증명 쌍으로, 구조화되고 다단계적인 증명을 포함한다.
• 대학 수준의 수학 전공 학생들을 대상으로 인간 평가를 실시하여 생성된 증명의 정확성, 유용성, 오류 유형을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 높은 정확도와 유용성을 갖추고 자연어 증명에서 다음 단계를 수학적으로 타당하게 생성할 수 있는가?
• RQ2 외부 참조에 기반하여 신경망 모델이 짧은 정리(2~6단계)에 대해 완전하고 정확한 증명을 생성할 수 있는가?
• RQ3 참조 사용을 강제하는 제약 조건을 적용한 디코딩 방식이 표준 자동 회귀 생성 방식에 비해 증명 품질을 얼마나 향상시키는가?
• RQ4 현재 언어 모델이 수학적 증명 생성에서 주로 나타내는 실패 유형은 무엇인지, 특히 추론 및 기호적 유도 과정에서의 문제는 무엇인가?
• RQ5 참조 기반 검색 증강 생성 기법이 증명의 신뢰성과 일관성 향상에 얼마나 기여하는가?

주요 결과

• Human evaluation에서 NaturalProver는 다음 단계 제안의 정확도 평가가 42.86%, 유용성 평가가 51.43%를 기록하였으며, 이는 신경망 기반 언어 모델을 활용한 이와 같은 성능이 처음으로 입증된 사례이다.
• 기본 모델의 경우 전체 증명 생성에서 정확도 평가가 26.30%, 유용성 평가가 24.30%로 나타났으며, 제약 조건을 적용한 NP++ 버전에서는 각각 35.41%와 46.57%로 향상되었다.
• 참조 오류(예: 환상적 또는 유효하지 않은 참조)는 GPT-3의 4.61%에서 NaturalProver의 1.05%로 감소하여 근거 제공 능력 향상을 입증했다.
• 기호적 유도 오류는 GPT-3의 24.56%에서 NaturalProver의 15.64%로 감소하였으며, 식 오류는 32.54%에서 26.32%로 감소하였다.
• 논리적 추론의 일관성은 향상되었으며, NaturalProver의 참조 오류 비율은 19.70%였고 GPT-3는 30.92%였으며, 유효하지 않은 근거 제시 비율은 GPT-3의 15.21%에서 NaturalProver의 9.62%로 감소하였다.
• 비록 성능 향상이 있었지만, 장기적 증명, 다단계 유도 과정, 근거 품질 유지에서 여전히 모델의 한계가 존재하며, 신경망 기반 추론의 지속적 과제임을 시사한다.