[논문 리뷰] Learning to Reason in Large Theories without Imitation

Kshitij Bansal, Christian Szegedy외 3명|arXiv (Cornell University)|2019. 05. 25.

Logic, programming, and type systems참고 문헌 24인용 수 18

한 줄 요약

이 논문은 인간이 제공한 증명에 의존하지 않고 대규모 수학 이론에서 자동 정리 증명을 위한 강화학습 접근법을 제안한다. 탐색 단계에 tf-idf 기반 전제 선택 기법을 통합함으로써, 이는 암기 전용 훈련에 비해 증명 발견 성능을 크게 향상시키고, 하이브리드 암기-강화학습 시스템의 성능에 근접한다.

ABSTRACT

In this paper, we demonstrate how to do automated theorem proving in the presence of a large knowledge base of potential premises without learning from human proofs. We suggest an exploration mechanism that mixes in additional premises selected by a tf-idf (term frequency-inverse document frequency) based lookup in a deep reinforcement learning scenario. This helps with exploring and learning which premises are relevant for proving a new theorem. Our experiments show that the theorem prover trained with this exploration mechanism outperforms provers that are trained only on human proofs. It approaches the performance of a prover trained by a combination of imitation and reinforcement learning. We perform multiple experiments to understand the importance of the underlying assumptions that make our exploration approach work, thus explaining our design choices.

연구 동기 및 목표

• 인간이 제공한 증명 없이 대규모 수학 이론에서 자동 정리 증명을 가능하게 하기 위해.
• 표준 탐색 전략이 실패하는 고차원 전제 선택 문제를 해결하기 위해.
• 자기 생성 데이터를 통한 효과적인 전제 선택을 학습하는 강화학습 프레임워크를 개발하기 위해.
• tf-idf와 같은 단순하고 해석 가능한 지표로 유도된 탐색이 정리 증명에서 암기 전용 학습보다 성능을 뛰어넘을 수 있는지 평가하기 위해.
• 복잡한 추론 환경에서 성공적인 제로샷 학습을 가능하게 하는 설계 선택 사항을 이해하기 위해.

제안 방법

• 이 방법은 대규모 수학 전제 지식 기반에서 정리 증명기를 강화학습으로 훈련하기 위해 딥 강화학습을 사용한다.
• 학습된 정책 행동과 tf-idf 기반 전제 검색을 조합한 하이브리드 탐색 전략을 도입하여 증명 검색 중 관련성 향상을 도모한다.
• tf-idf 구성요소는 용어 빈도와 역문헌 빈도를 기반으로 후보 전제를 선택하여 고차원 전제 공간에서의 탐색을 향상시킨다.
• 전제 선택 과정에서 10% 토큰 드롭아웃을 적용하여 탐색 과정의 다양성을 증가시킨다.
• 모델은 증명 난이도가 점차 증가하는 커리큘럼을 사용하여 HOList 환경에서 평가되었으며, 이는 HOL Light를 위한 강화학습 설정이다.
• 모델은 정리 증명기와의 자기지도적 상호작용을 통해 전술 선택과 전제 선택을 모두 학습한다.

실험 결과

연구 질문

• RQ1 인간의 증명에 접근할 수 없는 상태에서 정리 증명기를 대규모 수학 이론에서 정리 증명을 학습할 수 있는가?
• RQ2 tf-idf와 같은 단순하고 학습되지 않은 지표를 탐색 단계에 통합하면 강화학습을 통한 정리 증명에서 학습 효율성이 향상되는가?
• RQ3 인간의 증명으로만 훈련된 시스템과 비교해 봤을 때 순수 자기지도적 RL 시스템의 성능은 어떠한가?
• RQ4 인간 데이터가 전혀 없는 상황에서 부트스트랩핑이 성공적인 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 제로샷 정리 증명에서 전제 선택이 주요 성능 저하 요인인가?

주요 결과

• 인간의 증명이 전혀 없는 Zero Explore RL 루프는 단일 체크포인트에서 56.3%의 정리 증명 성공률을 기록했으며, 이는 인간의 증명으로만 훈련된 모델의 49.95% 성과를 뛰어넘었다.
• Zero Explore 접근법은 누적 정리 증명 성공률 69.1%를 달성하여 인간 RL 루프의 최고 성과인 64.1%에 근접했다.
• 이 방법은 인간 RL 루프 성능의 90% 이상을 달성하여 인간 데이터 없이도 뛰어난 확장성과 일반화 능력을 보였다.
• 아블레이션 연구 결과, tf-idf 기반 전제 선택만으로도 누적 성공률 43%를 기록했으며, 이는 랜덤 선택보다는 뚜렷이 뛰어나지만 RL 탐색과 조합했을 때는 성능이 떨어졌다.
• 전제 선택 과정에서 10% 토큰 드롭아웃을 포함시킨 결과는 미미하지만 무시할 수 없는 성능 향상이 있었으며, 이는 탐색 다양성 향상의 증거로 볼 수 있다.
• Zero Reference 베이스라인(탐색 메커니즘도 없고 인간 데이터도 없는)은 빠르게 정체되었으며, 이는 대규모 전제 공간에서 유도된 탐색의 필수성을 강조한다.