[논문 리뷰] Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning

Mitsuru Kusumoto, Keisuke Yahata외 1명|arXiv (Cornell University)|2018. 11. 02.

Natural Language Processing Techniques참고 문헌 23인용 수 8

한 줄 요약

이 논문은 심플한 그래프 표현과 반복적 데이터 증강을 사용하여 그래프 신경망(GNNs)을 활용한 딥 강화학습 접근법을 제안한다. 이는 인 intuitionistic propositional logic(IPL)에서의 자동 정리 증명을 위한 값 함수 학습을 위해 사용된다. 이 방법은 Coq의 tauto 전략을 능가하며, 10초 이내에 기준 테스트 케이스의 84%를 해결한다. 이는 tauto의 52%를 넘어서며, 제한된 훈련 데이터에도 불구하고 신경망이 ATP에 효과적으로 기여할 수 있음을 보여준다.

ABSTRACT

The problem-solving in automated theorem proving (ATP) can be interpreted as a search problem where the prover constructs a proof tree step by step. In this paper, we propose a deep reinforcement learning algorithm for proof search in intuitionistic propositional logic. The most significant challenge in the application of deep learning to the ATP is the absence of large, public theorem database. We, however, overcame this issue by applying a novel data augmentation procedure at each iteration of the reinforcement learning. We also improve the efficiency of the algorithm by representing the syntactic structure of formulas by a novel compact graph representation. Using the large volume of augmented data, we train highly accurate graph neural networks that approximate the value function for the set of the syntactic structures of formulas. Our method is also cost-efficient in terms of computational time. We will show that our prover outperforms Coq's $ exttt{tauto}$ tactic, a prover based on human-engineered heuristics. Within the specified time limit, our prover solved 84% of the theorems in a benchmark library, while $ exttt{tauto}$ was able to solve only 52%.

연구 동기 및 목표

• 인 intuitionistic propositional logic(IPL)에서 신경망 기반 자동 정리 증명(ATP)에 있어 대규모 훈련 데이터 부족 문제를 해결하기 위함이다.
• 작은 초기 정리 라이브러리로도 정확한 값 함수를 학습시켜 증명 탐색 효율을 향상시키기 위함이다.
• 논리 공식을 위한 압축형이고 문법 인식 가능한 그래프 표현을 개발하여 GNN 성능을 향상시키기 위함이다.
• 딥 강화학습과 데이터 증강을 통해 수동 히ュ리스틱 기반 증명기인 Coq의 tauto를 능가하는 증명 커버리지 성능을 달성함을 입증하기 위함이다.

제안 방법

• 증명 트리의 이산 상태 공간을 대상으로 순서형 계산법에서의 증명 탐색을 강화학습 문제로 공식화한다.
• 새로운 압축형 그래프 표현은 논리 공식의 구조적 구조를 코딩하여, 변수 이름과 무관하게 구조적 불변성을 GNN이 포착할 수 있도록 한다.
• 자체 생성된 훈련 데이터를 사용하여 반복적으로 정책을 향상시키는 근사 정책 반복(API) 프레임워크를 사용한다.
• 각 API 반복 단계에서 소규모 초깃 theorem 라이브러리에서 수백만 개의 합성 훈련 예제를 생성하는 데이터 증강 절차를 통해 강력한 일반화를 가능하게 한다.
• 그래프 신경망(GNNs)은 주어진 증명 상태가 해에 얼마나 가까운지 추정하는 값 함수를 근사하도록 훈련된다.
• 추론 중에는 백트래킹 없이 탐욕적 깊이 우선 탐색 전략을 사용하여 정책을 구현함으로써 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 제한된 초깃훈련 데이터가 존재하는 상황에서 데이터 증강을 통한 딥 강화학습이 인 intuitionistic propositional logic에서의 ATP를 위한 신경망 정책을 효과적으로 훈련시킬 수 있는가?
• RQ2 Coq의 tauto와 같은 히ュ리스틱 기반 증명기와 비교했을 때, GNN 기반의 평가 함수는 증명 커버리지 및 효율성 측면에서 어떤가?
• RQ3 데이터 증강이 강화학습을 통한 ATP에서 정책 열화를 방지하고 일반화 능력을 향상시키는 데 얼마나 기여하는가?
• RQ4 더 높은 단계당 계산 비용이 들더라도, 학습된 신경망 정책이 수동으로 설계된 히ュ리스틱보다 증명 탐색에서 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 그래프 표현 방식이 GNN이 복잡한 논리 공식 간의 일반화 능력을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 증명기는 10초 이내에 기준 테스트 라이브러리의 84%의 정리를 해결했으며, Coq의 tauto 전략이 해결한 52%를 크게 뛰어넘었다.
• 데이터 증강을 통한 약 4회의 API 반복 후, 훈련 세트에서 86%의 증명 커버리지에 도달하여 강력한 수렴성과 일반화 능력을 입증했다.
• 데이터 증강 없이 수행한 경우, 4번째 반복 단계에서 정리의 단지 14%만 해결되어 데이터 증강의 핵심적 역할을 확인했다.
• GNN 기반 평가 함수는 다른 아키텍처보다 더 높은 정확도를 달성하여, 더 높은 추론 비용에도 불구하고 더 효과적인 증명 탐색을 가능하게 했다.
• 모든 시간 제약 조건 하에서 기준선보다 25% 이상 더 많은 정리를 해결하여, 뛰어난 의사결정 효율성을 보였다.
• 소수의 첫 번째 정리만으로도 높은 성능를 달성하여, 데이터 증강이 공개된 소규모 정리 라이브러리에서 효과적인 학습을 가능하게 한다는 점을 입증했다.