[논문 리뷰] IsarStep: a Benchmark for High-level Mathematical Reasoning

Wenda Li, Lei Yu외 2명|arXiv (Cornell University)|2020. 06. 13.

Natural Language Processing Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 형식적 증명의 실제 사례를 기반으로 한 고수준 수학적 추론을 평가하기 위한 IsarStep을 소개한다. 이 작업은 인간이 읽을 수 있는 정리 증명에서 중간 명제를 생성하는 것으로 설정되며, 신경망 시퀀스-투-시퀀스 모델(신규로 제안된 계층형 트랜스포머 포함)을 평가하여 복잡한 수학적 추론을 포괄할 수 있음을 보여주며, 계층형 모델은 테스트 세트에서 25%의 정확도를 달성한다.

ABSTRACT

A well-defined benchmark is essential for measuring and accelerating research progress of machine learning models. In this paper, we present a benchmark for high-level mathematical reasoning and study the reasoning capabilities of neural sequence-to-sequence models. We build a non-synthetic dataset from the largest repository of proofs written by human experts in a theorem prover. The dataset has a broad coverage of undergraduate and research-level mathematical and computer science theorems. In our defined task, a model is required to fill in a missing intermediate proposition given surrounding proofs. This task provides a starting point for the long-term goal of having machines generate human-readable proofs automatically. Our experiments and analysis reveal that while the task is challenging, neural models can capture non-trivial mathematical reasoning. We further design a hierarchical transformer that outperforms the transformer baseline.

연구 동기 및 목표

• 신경망 모델의 고수준 수학적 추론 능력을 평가하기 위한 비합성적 기준을 확립하기 위해.
• 시퀀스-투-시퀀스 모델이 형식적 증명에서 중간 명제를 생성할 수 있는 능력을 연구하기 위해.
• 자동 증명 기술과 인간이 읽을 수 있는 증명 생성 간 격차를 메우기 위해, 더 높은 수준에서 추론 과정을 모델링하기 위해.
• 향후 자동화된, 인간이 읽을 수 있는 증명 합성 작업을 위한 기반을 마련하기 위해.

제안 방법

• 벤치마크는 아카이브 오브 포멀 프로프(AFP)와 이슬라벨/홀의 표준 라이브러리에서 추출한 204,000개의 형식적으로 증명된 보조정리로부터 구성된다.
• 이 작업은 시퀀스-투-시퀀스 생성 문제로 설정되며, 증명 맥락이 주어졌을 때 누락된 중간 명제를 예측하는 것이다.
• 지역 레이어는 명제 인코딩을 위해, 전역 레이어는 명제 간 관계를 모델링하기 위해 사용되는 계층형 트랜스포머(HAT)를 제안한다.
• 고정 크기의 벡터가 아닌 동적 크기의 표현 행렬을 사용하여, 명제의 구조적 정보를 유지한다.
• 증명 카테고리 내에서 명제 순서가 필수적이지 않기 때문에 위치 인코딩을 생략한다.
• 기준 모델로는 어텐션 기반 표준 seq2seq 및 표준 트랜스포머 모델이 포함된다.

실험 결과

연구 질문

• RQ1 신경망 시퀀스-투-시퀀스 모델은 고수준 수학적 증명에서 의미 있는 중간 명제를 생성할 수 있는가?
• RQ2 특히 계층형 트랜스포머와 같은 다양한 신경망 아키텍처가 표준 트랜스포머와 비교해 이 복잡한 추론 작업에서 어떻게 성능을 내는가?
• RQ3 논리적 의존성과 같은 비트리비얼한 수학적 추론, 예를 들어 집합, 부분집합, 원소 관계를 얼마나 잘 포착할 수 있는가?
• RQ4 복잡한 증명에서 흔한 긴 입력 시퀀스에 대해 모델이 일반화할 수 있는가?
• RQ5 모델이 수학적 개념에 대해 의미적으로 유의미한 표현을 학습하고 있는가에 대한 증거는 무엇인가?

주요 결과

• 신경망 모델은 테스트 세트에서 15~25%의 정확도를 달성하여 이 작업이 도전적이지만 해결 가능하다는 것을 보여준다.
• 계층형 트랜스포머는 표준 트랜스포머와 어텐션 기반 RNN 기준 모델보다 뛰어난 성능을 보이며, 특히 더 긴 소스 시퀀스에서 두각을 나타낸다.
• 모델 임베딩 분석 결과, 유사한 수학적 개념들이 코사인 공간에서 군집되어 있어 의미론적 학습이 이루어졌음을 시사한다.
• 모델은 집합 소속성 및 부분집합 포함성과 같은 복잡한 논리적 관계를 추론할 수 있으며, 인간에게도 어려운 다단계 추론을 수행할 수 있다.
• 모델은 논리적으로 타당하고 증명 유도에 유용한 중간 명제를 유추함으로써 패턴 매칭을 넘어서 효과적인 추론을 수행하고 있음을 시사한다.
• 결과적으로 형식적 증명에서의 미리 훈련(pretraining)이 성능 향상에 기여할 수 있음을 시사하지만, 이는 향후 연구 과제로 남아 있다.