[논문 리뷰] Learning to Prove from Synthetic Theorems

Eser Aygün, Zafarali Ahmed외 6명|arXiv (Cornell University)|2020. 06. 19.

Machine Learning and Algorithms참고 문헌 27인용 수 8

한 줄 요약

이 논문은 인간이 제공한 증명 데이터가 필요 없이, 공리에서 생성된 합성 정리들을 사용하여 자동 정리 증명기를 훈련시키는 방법을 제안한다. 이 방법은 포화 기반 증명 검색을 위한 비용 함수를 지도 학습을 통해 훈련시켜, TPTP 벤치마크에서 인간이 생성한 문제들에 대해 뛰어난 성능을 달성한다. 대부분의 공리 집합에서 인간 데이터로 훈련된 모델들을 능가한다.

ABSTRACT

A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training with synthetic theorems, generated from a set of axioms. We show that such theorems can be used to train an automated prover and that the learned prover transfers successfully to human-generated theorems. We demonstrate that a prover trained exclusively on synthetic theorems can solve a substantial fraction of problems in TPTP, a benchmark dataset that is used to compare state-of-the-art heuristic provers. Our approach outperforms a model trained on human-generated problems in most axiom sets, thereby showing the promise of using synthetic data for this task.

연구 동기 및 목표

• 딥 러닝 응용 프로그램에 있어 주요 장애물인 자동 정리 증명(ATP)에서의 훈련 데이터 부족 문제를 해결한다.
• 한정적이고 비용이 많이 드는 인간이 생성한 정리와 증명에 의존하는 것을 줄인다.
• 오직 공리와 합성 정리만을 사용하여 데이터 효율적이고 확장 가능한 방법으로 증명기를 훈련시키는 방법을 개발한다.
• 합성 데이터로 훈련된 증명기가 실제 세계의 인간이 작성한 수학 문제에 일반화할 수 있음을 입증한다.
• 컴퓨터 비전과 NLP에서 성공한 것과 유사하게, ATP에서 데이터가 풍부한 훈련 환경을 가능하게 한다.

제안 방법

• 공리 집합에 정방향 추론 규칙을 적용하여 논리적으로 타당한 문장을 생성함으로써 합성 정리를 생성한다.
• 간단한, 훈련되지 않은 증명기로 이러한 합성 정리에 대한 증명 추적을 생성하여 비용 함수 훈련 데이터를 만든다.
• 포화 기반 증명 검색 중 추론의 유용성을 예측하기 위해 신경망(MLP 또는 GNN)을 훈련시킨다.
• 인간의 증명이 아닌 합성 증명 데이터를 사용하여 비용 함수 학습을 지도 학습 문제로 설정한다.
• 훈련된 비용 함수를 포화 기반 증명기에서 활용하여 인간이 생성한 추측문의 증명을 탐색한다.
• 일阶논리 추론을 위해 해소 계산법과 결합 정규형(CNF)을 사용하며, 반증 완전한 증명 검색을 수행한다.

실험 결과

연구 질문

• RQ1 합성 정리로만 훈련된 정리 증명기가 실제로 인간이 생성한 수학 문제를 해결할 수 있는가?
• RQ2 합성 데이터로 훈련하면 인간이 제공한 증명 데이터로 훈련한 경우보다 더 나은 일반화 성능을 보이는가?
• RQ3 단지 합성 증명 추적만을 사용하여 신경망이 효과적인 비용 함수를 학습할 수 있는가?
• RQ4 표준 ATP 벤치마크에서 합성 데이터로 훈련된 증명기의 성능은 인간 데이터로 훈련된 모델들과 비교해 어떻게 되는가?
• RQ5 합성 정리를 통한 데이터 증강이 자동 정리 증명에서 확장 가능하고 데이터가 풍부한 훈련을 가능하게 할 수 있는가?

주요 결과

• 합성 정리로만 훈련된 증명기가 TPTP 벤치마크의 상당 부분의 문제를 해결하여 인간이 생성한 문제에 대해 강력한 제로샷 일반화 능력을 입증했다.
• TPTP 벤치마크에서 대부분의 공리 집합에서 합성 데이터로 훈련된 증명기가 인간 데이터로 훈련된 모델들을 능가했다.
• 학습된 비용 함수는 추론 과정에서 생성된 문장 수를 감소시켜 효율성과 확장성 향상을 시사했다.
• 이 방법은 인간의 정리나 증명에 노출되지 않은 상태에서 TPTP에서 최고 성능을 달성하여 합성 데이터의 효과성을 입증했다.
• 이 방법은 ATP에서 데이터 기반 훈련을 가능하게 하여, 과거의 데이터 부족에서 데이터 풍부한 환경으로의 전환을 이끌었으며, 비전과 NLP 분야의 성공 사례와 유사하다.
• 결과적으로 합성 데이터가 정리 증명에서 인간이 주석을 달아준 증명 데이터의 효과적인 대안이 될 수 있음을 시사한다.