[논문 리뷰] Proving Theorems using Incremental Learning and Hindsight Experience Replay

Eser Aygün, Laurent Orseau외 6명|arXiv (Cornell University)|2021. 12. 20.

Logic, programming, and type systems인용 수 7

한 줄 요약

이 논문은 증명 실패 시 후행적으로 학습 예제를 생성하는 인크리멘탈 학습과 후행 경험 재생(HER)을 사용하여 도메인 특화 일阶 논리 정리 증명기의 학습을 처음부터 시작하는 기계 학습 기반 접근법을 제안한다. 이 방법은 실패한 증명 시도로부터 학습할 수 있게 하여, TPTP 데이터셋에서 최신 기술 수준의 증명기 E와 비교해 유사하거나 더 우수한 성능을 달성하며, 98%의 경우에서 훨씬 더 짧은 증명을 생성한다.

ABSTRACT

Traditional automated theorem provers for first-order logic depend on speed-optimized search and many handcrafted heuristics that are designed to work best over a wide range of domains. Machine learning approaches in literature either depend on these traditional provers to bootstrap themselves or fall short on reaching comparable performance. In this paper, we propose a general incremental learning algorithm for training domain specific provers for first-order logic without equality, based only on a basic given-clause algorithm, but using a learned clause-scoring function. Clauses are represented as graphs and presented to transformer networks with spectral features. To address the sparsity and the initial lack of training data as well as the lack of a natural curriculum, we adapt hindsight experience replay to theorem proving, so as to be able to learn even when no proof can be found. We show that provers trained this way can match and sometimes surpass state-of-the-art traditional provers on the TPTP dataset in terms of both quantity and quality of the proofs.

연구 동기 및 목표

• 기존 증명이나 고성능 ATP 시스템에 의존하지 않고, 처음부터 정리 증명기를 학습할 수 있는 기계 학습 프레임워크를 개발하는 것.
• 자동 정리 증명에서 희박하고 비정형적인 학습 데이터 문제를 해결하기 위해, 실패한 증명 시도에서 유도된 보조 학습 예제를 생성하기 위해 후행 경험 재생을 활용하는 것.
• 인크리멘탈 학습을 통해 반복적으로 더 짧은 증명을 발견할 수 있도록 하여 증명 품질을 향상시키는 것.
• 스펙트럴 그래프 특징과 트랜스포머를 기반으로 한 학습된 클라우즈 스코어링 함수가 표준 벤치마크에서 E와 같은 수동 히ュ리스틱 기반 증명기와 비교해 유사하거나 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 핵심 증명 엔진으로 기본 주어진 클라우즈 알고리즘을 사용하며, 학습된 트랜스포머 기반 모델이 클라우즈 스코어링을 지도한다.
• 클라우즈는 신경망에 구조적 정보를 인코딩하기 위해 스펙트럴 특징을 가진 그래프로 표현된다.
• 후행 경험 재생(HER)이 변형되어 실패한 증명 시도 중 도달한 클라우즈를 새로운, 해결 가능한 추측으로 전환하여 합성 학습 예제를 생성한다.
• 시스템은 시간이 지남에 따라 더 많은 추측을 증명함으로써, 커리큘럼 유사 과정을 통해 점진적으로 학습된다.
• 증명 검색 중 탐색과 이용의 균형을 맞추기 위해 DISCOUNT 기반 탐색 전략을 사용한다.
• 학습 과정은 자기지도 학습 방식이다: 원래의 추측이 증명되지 않더라도, 중간 상태에서 새로운 증명 가능한 목표를 생성함으로써 지속적인 학습이 가능하다.

실험 결과

연구 질문

• RQ1 기존 증명이 없고 단지 기본 증명 엔진만을 사용할 때, 스스로 생성된 학습 데이터에 의존하여 정리 증명기를 처음부터 학습시킬 수 있는가?
• RQ2 후행 경험 재생이 자동 정리 증명에서 학습 효율성과 증명 발견에 얼마나 효과적인가?
• RQ3 그래프 컨볼루션 트랜스포머를 기반으로 한 학습된 클라우즈 스코어링 함수가 E와 같은 최신 기술 수준의 ATP 시스템에서 수동 히ュ리스틱을 능가할 수 있는가?
• RQ4 HER를 활용한 인크리멘탈 학습이 전통적 증명기와 비교해 더 짧고 품질 높은 증명을 얼마나 잘 도출하는가?
• RQ5 제안된 방법이 도메인 특화 히ュ리스틱이 필요 없이 TPTP 데이터셋의 다양한 도메인에 일반화될 수 있는가?

주요 결과

• 인크리멘탈 학습 시스템에 후행 경험 재생을 적용한 IL w/HER는 TPTP 데이터셋의 20개 도메인 중 16개에서 E 증명기와 동일하거나 더 우수한 성능을 보였다.
• 두 시스템 모두 성공한 941개의 추측 중 921개(97.9%)에서 IL w/HER가 E보다 짧은 증명을 발견했으며, E의 증명이 더 짧은 경우는 오직 9건 뿐이었다.
• 시스템이 처음 발견한 증명 평균 길이가 13% 줄었으며, 재방문 및 개선 과정을 통해 지속적인 향상이 이루어졌음을 시사한다.
• HER가 없을 경우 어려운 도메인에서 학습 데이터 부족으로 인해 시스템이 멈추는 것을 확인했으며, 이는 HER가 실패한 시도로부터 학습하는 데 핵심적인 역할을 한다는 것을 보여준다.
• 7일간의 학습 동안 시스템은 1,042개의 증명을 생성했으며, 훨씬 단순한 증명 엔진과 수동 히ュ리스틱 없이도 E의 성능에 근접했다.
• 전체 증명 수확량 측면에선 E와 유사한 성능를 달성했지만, E는 클라우즈 생성 속도가 25.6배 더 빠르므로, 속도 격차를 줄이기 위해 더 강력한 스코어링 함수가 필요하다는 점을 시사한다.