[논문 리뷰] Training a First-Order Theorem Prover from Synthetic Data

Vlad Firoiu, Eser Aygün외 7명|arXiv (Cornell University)|2021. 03. 05.

Natural Language Processing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 인간의 레이블이 없는 데이터에 의존하지 않고, 유사하게 생성된 정리들만을 사용하여 일阶 정리 증명기를 훈련시킨다. 전방 제안자에 의해 생성된 유효한 정리들과 신경망을 통한 검색 정책의 정밀화를 통해, 증명기는 합성 데이터에서 E-prover를 능가하고, 등급이 없는 TPTP 문제에 대해 72%의 성공률을 기록하며 강력한 제로샷 전이 능력을 보인다.

ABSTRACT

A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training purely with synthetically generated theorems, without any human data aside from axioms. We use these theorems to train a neurally-guided saturation-based prover. Our neural prover outperforms the state-of-the-art E-prover on this synthetic data in both time and search steps, and shows significant transfer to the unseen human-written theorems from the TPTP library, where it solves 72\% of first-order problems without equality.

연구 동기 및 목표

• 인간의 레이블이 부여된 형식화 자료에 의존하지 않고, 신경망 기반 정리 증명에서 훈련 데이터 부족 문제를 해결하기 위해 인간의 레이블이 없는 자료를 대체로 합성된 정리들을 생성함으로써 문제를 해결한다.
• 인간이 제공한 증명이나 예시 없이, 오직 합성 데이터만을 사용하여 신경망이 이끄는 포화 기반 증명기를 훈련시킨다.
• 합성 데이터로 훈련된 증명기가 실제 세계의 인간이 작성한 정리, 즉 TPTP 라이브러리의 문제들로 일반화되는지 평가한다.
• 전이 성능을 극대화하기 위해 다양성, 난이도, 크기 등을 고려하여 합성 데이터 생성 과정을 최적화한다.

제안 방법

• 전방 제안자는 선형 해석을 적용하여 공리에 대해 적용함으로써 합성 정리를 생성하며, 문장 크기에 대해 소프트맥스를 사용하여 더 작은 문장에 대한 편향을 둔다.
• 증명기는 주어진 문장 알고리즘을 사용하며, 문장 확률 예측값과 문장 크기를 조합한 신경망 비용 함수를 사용한다. 초기 훈련 단계에서는 크기 요소에 64:1의 비율을 더하여 우선시한다.
• AlphaZero와 유사한 검색 정밀화 기법을 사용하여, 합성 문제에서의 자기 대결을 통해 신경망 비용 함수를 훈련시킨다.
• 경험 재생 버퍼를 사용하여 다수의 액터로부터의 경험을 활용하며, 문장 특징에 대해 MLP 또는 Transformer 아키텍처를 사용하여 신경망을 훈련시킨다.
• 문장 특징에는 리터럴 수, 기호 수, 술어/함수/변수의 다양성, 추론 메타데이터 등이 포함되며, 고정된 크기의 벡터로 인코딩된다.
• 시스템은 우선순위 큐를 사용하여 문장 선택을 하며, 전방 및 후방 포함성을 적용하여 증명 상태의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 인간의 레이블이 없는 증명 자료 없이도 합성 정리들만을 사용하여 일阶 정리 증명기를 효과적으로 훈련시킬 수 있는가?
• RQ2 합성 데이터로 훈련된 증명기가 TPTP 라이브러리의 실제 세계의 인간이 작성한 정리들로 일반화되는가?
• RQ3 합성 데이터 생성 파라미터(단계 수, 온도)가 실제 문제로의 전이 성능에 어떤 영향을 미치는가?
• RQ4 E-prover와 같은 기준 증명기 대비 신경망 이끌림이 검색 효율성에 어떤 영향을 미치는가?

주요 결과

• 신경망 기반 증명기는 합성 훈련 분포에서 최신 기술인 E-prover를 능가하며, 더 적은 시간과 더 적은 검색 단계로 더 많은 문제를 해결한다.
• 등급이 없는 일阶 문제로 구성된 TPTP 테스트 세트에서, 가장 잘 훈련된 증명기는 72%의 성공률을 기록했으며, 학습되지 않은 증명기의 42% 기준 대비 뚜렷한 향상이다.
• 시스템은 강력한 제로샷 전이 능력을 보이며, 훈련 중 TPTP 데이터에 노출되지 않은 상태에서 TPTP 문제의 72%를 해결한다.
• 전방 제안자의 초모수는 크기, 난이도, 다양성 등의 프록시 지표를 통해 최적화되었으며, 평균 문장 크기의 상한선은 64로 설정되었고, 각 설정에서 최소 500,000개의 고유한 정리가 필요했다.
• Transformer 기반 신경망 비용 함수는 MLP보다 전이 성능에서 뛰어났지만, 둘 다 강력한 일반화 능력을 보였다.
• MLP의 경우 두 날 이상의 훈련을 지속해도 추가 향상이 없었으며 수렴했음을 시사했고, Transformer 모델은 지속적인 성능 향상을 보였다.