[논문 리뷰] Learning to Prove Theorems by Learning to Generate Theorems

Mingzhe Wang, Jia Deng|arXiv (Cornell University)|2020. 02. 17.

Machine Learning and Algorithms참고 문헌 41인용 수 7

한 줄 요약

이 논문은 메타매쓰(Metamath)에서 자동 정리 증명을 위한 제한된 인간이 작성한 훈련 데이터를 보완하기 위해 합성 정리와 증명을 생성하는 학습 가능한 신경 생성기인 MetaGen을 제안한다. GAN 유사 판별기와 함께 인간 증명을 모방하거나 강화 학습을 통해 훈련시킨 생성기는 정리 증명기 성능을 크게 향상시켜 set.mm 및 iset.mm 벤치마크에서 이전 방법보다 더 많은 정리를 증명하며 최신 기술 수준을 향해 나아간다.

ABSTRACT

We consider the task of automated theorem proving, a key AI task. Deep learning has shown promise for training theorem provers, but there are limited human-written theorems and proofs available for supervised learning. To address this limitation, we propose to learn a neural generator that automatically synthesizes theorems and proofs for the purpose of training a theorem prover. Experiments on real-world tasks demonstrate that synthetic data from our approach improves the theorem prover and advances the state of the art of automated theorem proving in Metamath. Code is available at https://github.com/princeton-vl/MetaGen.

연구 동기 및 목표

• 형식 언어인 메타매쓰(Metamath)에서 인간이 작성한 형식적 증명의 부족으로 인해 정규화된 훈련이 제한되는 문제를 해결하기 위해.
• 자동으로 고품질이고 다양한 정리와 증명을 생성할 수 있는 신경 생성기를 개발하기 위해.
• 학습 가능한 생성기를 통해 제한된 인간 데이터를 합성 데이터로 보완함으로써 정리 증명기 성능을 향상시키기 위해.
• 두 가지 훈련 철학을 탐색하기 위해: 인간 증명에서 유도하는 이mitation learning과 GAN 스타일의 판별기를 사용한 강화 학습을 통해 합성 정리가 인간 유사 패턴을 따르도록 유도하기 위해.

제안 방법

• 기존 정리에 증명 규칙을 적용하는 방식으로 증명기와 유사한 기호 조작을 수행하는 신경 생성기(MetaGen)를 훈련시켜 새로운 정리와 증명을 합성한다.
• 완전한 증명이 가용할 경우, 생성기를 인간 증명 단계를 따라가는 방향으로 전진 방향에서 이mitation learning을 사용해 훈련한다.
• 문장만 가용할 경우, 인간 유사 정리의 생성을 유도하기 위해 판별기를 활용한 강화 학습을 사용한다.
• 판별기가 실제 인간 정리와 합성 정리를 구분하도록 하는 GAN 유사 훈련 목표를 통합하여 생성기가 현실적이고 유용한 정리를 생성하도록 유도한다.
• 합성 데이터를 Holophrasm 신경 증명기와 통합하여 관련성 및 치환 네트워크를 보정함으로써 증명 검색 성능을 향상시킨다.
• 기본 벤치마크(set.mm 및 iset.mm)와 표준 프rotocol을 사용하여 표준 메타매쓰 벤치마크에서 성능을 평가하고, 기준 모델 및 분석 결과와 비교한다.

실험 결과

연구 질문

• RQ1 학습 가능한 신경 생성기가 효과적으로 정리 증명기 성능을 향상시키는 데 기여하는 합성 정리와 증명을 생성할 수 있는가?
• RQ2 이미테이션 학습 또는 판별기를 사용한 강화 학습을 통해 생성된 합성 데이터가 인간 전용 데이터보다 더 나은 일반화 성능을 보이는가?
• RQ3 합성 데이터의 품질이 신경 증명기의 관련성 및 치환 네트워크 향상 측면에서 인간 데이터와 비교해 어떻게 되는가?
• RQ4 합성 데이터가 비용이 많이 드는 인간이 작성한 증명에 대한 의존도를 얼마나 줄일 수 있으며, 이로 인해 증명 완료 비율은 유지되거나 향상되는가?

주요 결과

• MetaGen에서 생성한 합성 데이터로 훈련된 증명기는 iset.mm 벤치마크에서 600개의 정리를 증명하여 원래의 Holophrasm를 초월하고 최신 기술 수준을 달성했다.
• set.mm에서 10%의 인간 증명과 합성 데이터로 훈련된 증명기는 472개의 정리를 증명했으며, 이는 100% 인간 데이터로 훈련된 모델의 476개에 거의 도달했다.
• 합성 데이터로 훈련된 증명기의 관련성 네트워크는 상위-k 정확도와 평균 역수 순위(MRR)가 높아졌으며, 특히 학습 가능한 생성기에서 가장 우수한 성능을 기록했다.
• 합성 데이터로 훈련된 치환 네트워크는 정확도와 정규화된 확률 점수에서 향상되었으며, 특히 학습 가능한 생성기에서 두드러진 성능 향상을 보였다.
• 훈련 데이터에서 부질한 증명 단계를 제거함으로써 증명된 정리 수가 574개에서 600개로 증가하여 데이터 품질의 중요성을 입증했다.
• GPU 최적화된 Holophrasm 재구현 버전은 set.mm에서 557개의 정리를 증명하여 원래 Whalen(2016) 논문에서 보고한 수치를 초월했다.