[논문 리뷰] INT: An Inequality Benchmark for Evaluating Generalization in Theorem Proving

Yuhuai Wu, Albert Qiaochu Jiang외 2명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 60인용 수 11

한 줄 요약

이 논문은 학습 지원 정리 증명에서 일반화 능력을 평가하기 위해 이론적으로 무한한 불등식 정리 증명 벤치마크인 INT를 소개한다. 정리 생성기를 사용하여 INT는 여섯 가지의 서로 다른 일반화 유형을 측정할 수 있으며, 트랜스포머와 GNN을 평가한다. 결과적으로 트랜스포머는 테스트 과제에서 더 뛰어난 성능을 보였지만, GNN보다 더 큰 분포 외 일반화 갭을 보였으며, 테스트 시점의 몬테카를로 트리 탐색(MCTS)이 정리 증명 성공률을 크게 향상시켰다.

ABSTRACT

In learning-assisted theorem proving, one of the most critical challenges is to generalize to theorems unlike those seen at training time. In this paper, we introduce INT, an INequality Theorem proving benchmark designed to test agents’ generalization ability. INT is based on a theorem generator, which provides theoretically infinite data and allows us to measure 6 different types of generalization, each reflecting a distinct challenge, characteristic of automated theorem proving. In addition, provides a fast theorem proving environment with sequence-based and graph-based interfaces, conducive to performing learning-based research. We introduce base-lines with architectures including transformers and graph neural networks (GNNs)for INT. Using INT, we find that transformer-based agents achieve stronger test performance for most of the generalization tasks, despite having much larger out-of-distribution generalization gaps than GNNs. We further find that the addition of Monte Carlo Tree Search (MCTS) at test time helps to prove new theorems.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 정리에 대한 일반화 능력 향상이라는 핵심 과제를 해결하기 위해, 특히 학습 보조 정리 증명에서의 일반화 문제를 다루기 위해.
• 이론적으로 무한한 훈련 데이터를 지원하고 다양한 일반화 유형을 체계적으로 평가할 수 있도록 설계된 벤치마크를 만들기 위해.
• 학습 기반 정리 증명 연구를 지원하기 위해 시퀀스 기반 및 그래프 기반 인터페이스를 제공하는 빠르고 유연한 증명 환경을 제공하기 위해.
• 트랜스포머 및 GNN과 같은 신경망 아키텍처가 새로운 불등식 정리에 대해 어떻게 성능을 내고 일반화 행동을 보이는지 평가하기 위해.
• 테스트 시점의 검색 알고리즘(예: 몬테카를로 트리 탐색)이 새로운 정리를 증명하는 데 미치는 영향을 조사하기 위해.

제안 방법

• 벤치마크는 이론적으로 무한한 불등식 정리를 생성하는 정리 생성기를 기반으로 하여, 여섯 가지의 서로 다른 일반화 유형에 대한 통제된 평가를 가능하게 한다.
• 입력 표현을 위해 시퀀스 기반 및 그래프 기반 인터페이스를 모두 지원하여 다양한 모델 아키텍처의 활용을 가능하게 한다.
• 일반화 성능를 비교하기 위해 트랜스포머 및 그래프 신경망(GNN) 아키텍처를 기반으로 한 베이스라인을 구현한다.
• 일반화 능력은 여섯 가지의 서로 다른 분포 이탈 유형에 대해 측정되며, 각각 자동 정리 증명에서의 다른 과제를 반영한다.
• 테스트 시점 추론에는 정리 증명의 추론 능력을 향상시키고 새로운 정리에 대한 성공률을 높이기 위해 몬테카를로 트리 탐색(MCTS)을 통합한다.
• 성능 평가는 도메인 내 및 도메인 외 테스트 세트를 모두 활용하여 일반화 갭을 정량화하기 위해 평가된다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 에이전트는 훈련 중에 본 바와 다른 불등식 정리에 대해 GNN 기반 에이전트보다 어떻게 성능을 내는가?
• RQ2 INT 벤치마크에서 다양한 신경망 아키텍처에 대해 분포 외 일반화 갭의 크기는 어느 정도인가?
• RQ3 테스트 시점에 몬테카를로 트리 탐색을 통합할 경우, 새로운, 미리 볼 수 없었던 정리를 증명할 능력은 어느 정도 향상되는가?
• RQ4 정의된 여섯 가지 일반화 유형 중에서 현재 학습 기반 에이전트에게 가장 도전적인 것은 무엇인가?
• RQ5 생성기가 제공하는 이론적 무한한 훈련 데이터는 모델의 일반화 행동에 어떤 영향을 미치는가?

주요 결과

• 트랜스포머 기반 에이전트는 GNN보다 대부분의 일반화 과제에서 더 뛰어난 전체 테스트 성능을 달성한다.
• 더 뛰어난 테스트 성능에도 불구하고, 트랜스포머는 GNN보다 유의미하게 더 큰 분포 외 일반화 갭을 보였다.
• 테스트 시점에 몬테카를로 트리 탐색을 통합함으로써, 에이전트가 새로운, 이전에 본 적 없는 정리를 증명할 능력이 크게 향상되었다.
• 정리 생성기는 자동 정리 증명에서 각각 고유한 과제를 반영하는 여섯 가지의 서로 다른 일반화 유형에 대한 체계적 평가를 가능하게 한다.
• 벤치마크 환경은 시퀀스 기반 및 그래프 기반 모델 인터페이스를 모두 지원하여 효율적인 훈련 및 평가를 가능하게 한다.
• 결과는 신경망 기반 정리 증명 에이전트에서 강력한 도메인 내 성능와 분포 이탈에 대한 강건성 사이의 상충 관계를 드러낸다.