[논문 리뷰] TacticZero: Learning to Prove Theorems from Scratch with Deep Reinforcement Learning

Minchao Wu, Michael Norrish외 2명|arXiv (Cornell University)|2021. 02. 19.

Logic, programming, and type systems참고 문헌 41인용 수 6

한 줄 요약

TacticZero는 상호작용 증명을 마코프 결정 과정(MDP)으로 공식화하여 HOL4에서 처음부터 정리 증명을 학습하는 딥 강화학습 프레임워크를 제안한다. 이는 전략 선택, 인수 예측, 동적 증명 탐색 및 백트래킹을 종단 간(end-to-end)으로 학습할 수 있게 하며, 인간의 증명 예제 없이도 새로운 문제에서 기존 헤머즈(hammers)와 최첨단 기준보다 뛰어난 성능을 보인다. 이는 증명 경로를 자율적으로 탐색하고 실패한 경로를 기각함으로써 달성된다.

ABSTRACT

We propose a novel approach to interactive theorem-proving (ITP) using deep reinforcement learning. The proposed framework is able to learn proof search strategies as well as tactic and arguments prediction in an end-to-end manner. We formulate the process of ITP as a Markov decision process (MDP) in which each state represents a set of potential derivation paths. This structure allows us to introduce a novel backtracking mechanism which enables the agent to efficiently discard (predicted) dead-end derivations and restart from promising alternatives. We implement the framework in the HOL4 theorem prover. Experimental results show that the framework outperforms existing automated theorem provers (i.e., hammers) available in HOL4 when evaluated on unseen problems. We further elaborate the role of key components of the framework using ablation studies.

연구 동기 및 목표

• 기존의 학습 기반 상호작용 증명 방법이 제한된 인간 제공 증명과 BFS 또는 DFS와 같은 고정된 탐색 전략에 의존하는 데서 기인하는 한계를 해결하기 위해.
• 에이전트가 처음부터 종단 간 방식으로 증명 탐색 전략, 전략 선택, 인수 예측을 학습할 수 있도록 하기 위해.
• 효율적인 비생산적인 유도 경로의 정리와 유망한 대안에서의 재시작을 허용하는 MDP 프레임워크 내에서 새로운 백트래킹 메커니즘을 도입하기 위해.
• 인간에 의해 주석 처리된 증명 라이브러리에 의존하지 않고도, 새로운 정리에 대해 기존의 자동 증명기(헤머즈)보다 뛰어난 성능을 내기 위해.
• MDP 공식화, 정책 그래เดียน트 훈련, 백트래킹과 같은 핵심 구성 요소의 기여도를 탈락 연구(ablation studies)를 통해 검증하기 위해.

제안 방법

• 각 상태가 잠재적인 유도 경로의 집합을 나타내는 마코프 결정 과정(MDP)으로 상호작용 증명을 공식화하여, 증명 탐색 중 다중 경로 추적을 가능하게 한다.
• 정리 이름과 항목을 모두 인수로 사용할 수 있는 전략 적용을 지원하는 계층적 액션 공간을 설계하여 풍부하고도 융통성 있는 증명 행동을 가능하게 한다.
• 백트래킹, 목표, 전략, 인수 수준에서의 액션 예측을 동시에 수행하기 위해 다수의 순환 및 전방향 신경망을 사용하는 딥 강화학습 에이전트를 구현한다.
• 전략 그래디언트 방법(예: REINFORCE)을 사용하여 종단 간 훈련을 수행하며, 비생산적인 경로에서의 백트래킹을 학습하면서 증명 완료를 최적화한다.
• 비생산적인 유도 경로를 기각하고 이전에 방문한 유망한 증명 상태에서 재시작할 수 있도록 새로운 백트래킹 메커니즘을 통합한다.
• 자기 생성된 증명 시도와 증명 성공에 기반한 보상 신호를 사용하여 HOL4 증명기에서 에이전트를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 인간에 의해 주석 처리된 증명 예제에 의존하지 않고도 상호작용 증명에서 효과적인 증명 탐색 전략을 학습할 수 있는가?
• RQ2 MDP 기반 프레임워크에 통합된 백트래킹 메커니즘이 ITP에서 비생산적인 증명 경로를 정리하는 데 얼마나 효과적인가?
• RQ3 고정된 탐색 전략과 비교할 때 종단 간 전략 및 인수 예측 학습이 새로운 정리에서 성능 향상에 얼마나 기여하는가?
• RQ4 MDP 공식화, 정책 그래디언트 훈련, 백트래킹과 같은 핵심 아키텍처 구성 요소가 전체 증명 성능에 기여하는 정도는 어떠한가?
• RQ5 에이전트는 훈련 분포를 초월한 새로운 정리로 일반화할 수 있으며, 기존의 자동 증명기(헤머즈)보다 HOL4에서 뛰어난 성능을 내는가?

주요 결과

• TacticZero는 새로운 정리에 대해 최첨단 헤머즈(E, Z3, Vampire)보다 뛰어난 성능을 보이며, 더 뛰어난 일반화 능력과 증명 탐색 능력을 입증한다.
• 에이전트는 라이브러리에 인간이 검증한 증명보다 더 짧은 증명을 성공적으로 발견하였으며, 이전에 다수의 불필요한 단계를 포함해 증명되었던 복잡한 레미마에 대해 최소화된 증명을 찾았다.
• 탈락 연구 결과, 백트래킹 메커니즘과 전략 및 인수 예측의 공동 학습이 성능에 결정적인 역할을 한다는 것이 확인되었으며, 이 중 어느 하나를 제거해도 성공률가 크게 감소한다.
• MDP 공식화 덕분에 에이전트는 동시에 여러 증명 경로를 탐색하고 동적으로 초점을 이동시킬 수 있어, BFS와 DFS의 비효율성 문제를 피할 수 있다.
• 자기 생성된 증명 시도에서 학습함으로써 샘플 효율성이 높아졌으며, 외부 증명 라이브러리 의존도를 줄였다.
• 에이전트는 전제 선택을 위한 사전 설계된 점수 함수가 필요 없이도 복잡한 HOL4 항목을 포함한 전략과 그 인수를 모두 학습하여 선택할 수 있다.