[논문 리뷰] NaturalProofs: Mathematical Theorem Proving in Natural Language

Sean Welleck, Jiacheng Liu외 4명|arXiv (Cornell University)|2021. 03. 24.

Topic Modeling참고 문헌 47인용 수 12

한 줄 요약

이 논문은 ProofWiki, Stacks Project 및 교재에서 유래한 자연수학적 언어로 작성된 수학 정리와 증명의 다중 도메인 코퍼스인 NaturalProofs를 소개한다. 이 코퍼스는 기호 표기법과 자연어를 조합한 방식으로 구성되어 있으며, 신경 시퀀스 모델이 수학적 참조 검색 및 생성 작업에서의 성능을 평가하기 위한 벤치마크를 제공한다. 결과적으로 대규모 모델은 도메인 내에서 고전적 방법을 능가하지만, 제로샷 일반화 및 완전한 참조 복원에서는 여전히 어려움을 겪는다.

ABSTRACT

Understanding and creating mathematics using natural mathematical language - the mixture of symbolic and natural language used by humans - is a challenging and important problem for driving progress in machine learning. As a step in this direction, we develop NaturalProofs, a multi-domain corpus of mathematical statements and their proofs, written in natural mathematical language. NaturalProofs unifies broad coverage, deep coverage, and low-resource mathematical sources, allowing for evaluating both in-distribution and zero-shot generalization. Using NaturalProofs, we benchmark strong neural methods on mathematical reference retrieval and generation tasks which test a system's ability to determine key results that appear in a proof. Large-scale sequence models show promise compared to classical information retrieval methods, yet their performance and out-of-domain generalization leave substantial room for improvement. NaturalProofs opens many avenues for research on challenging mathematical tasks.

연구 동기 및 목표

• 자연어 기반 수학적 추론에 대한 기계학습 연구의 격차를 보완하기 위해 자연어로 작성된 수학적 진술과 증명의 통합 코퍼스를 구축하기 위해.
• 수학적 추론에서 도메인 내 및 제로샷 도메인 외 일반화 성능 평가를 가능하게 하기 위해.
• 인간의 증명 구성 방식을 모방하는 핵심 요소를 반영하여, 수학적 참조 검색 및 생성을 위한 신경 기반 방법을 개발하고 평가하기 위해.
• 비형식적 수학적 논의와 형식적 검증, 교육적 응용 간의 격차를 메우기 위해 자동화된 추론 분야의 발전을 지원하기 위해.
• 자연어 기반 수학적 추론 및 정리 증명 분야의 연구를 촉진하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• ProofWiki의 광범위한 커버리지 데이터, Stacks Project의 깊이 있는 커버리지 데이터, 저자원 교재 데이터를 통합하여 공통 스키마에 기반한 다중 도메인 코퍼스를 구축하기 위해.
• LaTeX 환경의 분류 체계를 활용하여 수학적 진술과 증명을 데이터 유형(예: 정리, 정의, 증명)에 매핑하고, 일관된 형식과 메타데이터를 제공하기 위해.
• 수학적 참조 검색 작업을 설계: 주어진 정리에 대해 그 증명에서 인용된 참조(정리, 보조정리, 정의)의 집합을 검색하기 위해.
• 검색 작업을 확장하여 참조 생성 작업을 수행하고, 증명 내 참조의 정체성과 순서를 모두 복원하도록 요구하기 위해.
• 두 가지 신경 모델을 구현하고 평가: BERT 인코더를 사용한 쌍별 점수 모델(정리-참조 매칭용), 엔드 투 엔드 참조 생성을 위한 공동 파rameter화 모델.
• 성능 향상을 위해 음성 참조 샘플링을 활용한 대비 학습 목표를 도입하고, 추론 시 전체 참조 집합에 대한 피니어튜닝을 적용하기 위해.

실험 결과

연구 질문

• RQ1 신경 시퀀스 모델은 자연어 기반 수학 증명에서 주어진 정리에 대해 관련 참조를 효과적으로 검색할 수 있는가?
• RQ2 신경 모델은 교재나 Stacks Project와 같은 도메인 외의 새로운 정리에 대해 얼마나 잘 일반화되는가?
• RQ3 간단한 검색을 넘어서, 증명 내 참조의 정확한 수와 순서를 얼마나 잘 복원할 수 있는가?
• RQ4 비형식적 수학적 추론 맥락에서 대규모 신경 모델은 고전적 정보 검색 방법보다 얼마나 우수한가?
• RQ5 현재 신경 모델이 수학 증명의 기호적 및 논리적 구조를 효과적으로 포착하는 데에 있어 핵심적인 한계는 무엇인가?

주요 결과

• 대규모 신경 시퀀스 모델은 도메인 내 수학적 참조 검색 작업에서 고전적 정보 검색 방법을 능가한다.
• 신경 모델은 참조 시퀀스 생성에 있어 잠재력을 보이지만, 증명 내 참조의 정확한 수와 순서를 완전히 복원하는 데에는 여전히 어려움을 겪는다.
• 도메인 외 일반화는 여전히 심각한 과제로 남아 있으며, 수학적 추론에서 도메인 이동에 대한 강건성 부족을 시사한다.
• 공동 파rameter화의 사용은 랭크된 목록 상단을 정교화함으로써 검색 성능을 향상시켜, 엔드 투 엔드 학습의 이점을 보여준다.
• 강력한 도메인 내 성능에도 불구하고, 신경 모델는 여전히 추론을 위해 기호적 수학적 내용을 효과적으로 활용하지 못한다.
• NaturalProofs 코퍼스는 다양한 수학 도메인에서 검색 및 생성 작업의 평가를 가능하게 하며, 비형식적 정리 증명 분야의 향후 연구를 위한 기반을 제공한다.