[논문 리뷰] GamePad: A Learning Environment for Theorem Proving

Daniel Huang, Prafulla Dhariwal외 2명|arXiv (Cornell University)|2018. 06. 02.

Logic, programming, and type systems참고 문헌 14인용 수 34

한 줄 요약

GamePad는 인간이 작성한 공식 증명을 기반으로, 상호작용 증명에서 기계로 읽을 수 있는 형식의 Coq 증명 표현을 추출하는 파이썬 기반 프레임워크입니다. 이는 인간이 작성한 공식 증명을 사용하여 전략 예측 및 위치 평가 작업을 수행할 수 있게 하며, 시도적 대수적 재작성 문제와 페이트-톰슨 정리의 형식화에서의 타당성을 입증합니다.

ABSTRACT

In this paper, we introduce a system called GamePad that can be used to explore the application of machine learning methods to theorem proving in the Coq proof assistant. Interactive theorem provers such as Coq enable users to construct machine-checkable proofs in a step-by-step manner. Hence, they provide an opportunity to explore theorem proving with human supervision. We use GamePad to synthesize proofs for a simple algebraic rewrite problem and train baseline models for a formalization of the Feit-Thompson theorem. We address position evaluation (i.e., predict the number of proof steps left) and tactic prediction (i.e., predict the next proof step) tasks, which arise naturally in tactic-based theorem proving.

연구 동기 및 목표

• 기계 학습 응용을 위한 Coq 증명의 구조화되고 학습 가능한 표현 방식을 제공하는 시스템을 구축하는 것.
• 증명의 구조와 의미적 내용을 유지하면서 인간이 지도한 공식 증명에서 학습할 수 있도록 하는 것.
• 실제 세계 및 합성 증명 데이터를 사용하여 전략 예측 및 위치 평가와 같은 핵심 증명 작업을 지원하는 것.
• 공식 증명에서 기계 학습 모델을 훈련하고 평가하기 위한 재사용 가능하고 오픈소스 플랫폼을 제공하는 것.
• 인간이 작성한 증명을 기반으로 한 상호작용 증명에서 엔드 투 엔드 학습의 타당성을 탐색하는 것.

제안 방법

• GamePad는 Coq로부터 컨텍스트, 목표, 전략, AST 등을 포함한 전체 증명 상태 시퀀스를 추출하여 구조화된 데이터 표현을 가능하게 합니다.
• 동적 증명 생성을 지원하는 경량 인터페이스를 제공하여 강화 학습 및 상호작용 모델 훈련을 가능하게 합니다.
• 항목과 증명 컨텍스트의 구조화된 표현을 사용하여 증명 상태를 ℝᴰ에 임bedding하는 것을 지원합니다.
• 기본 모델들은 페이트-톰슨 형식화와 합성된 대수적 재작성 문제의 증명 트레이스를 사용하여 전략 예측 및 위치 평가에 대해 훈련됩니다.
• 프레임워크는 증명 트리에 걸쳐 증명 스크립트 합성과 상태 추적을 통해 모델 평가를 가능하게 합니다.
• 모든 데이터, 모델, 코드는 재현 가능성과 확장성을 위해 GitHub에 오픈소스로 배포됩니다.

실험 결과

연구 질문

• RQ1 인간이 작성한 Coq 증명의 구조화된 표현은 전략 예측을 위한 효과적인 기계 학습을 가능하게 할 수 있는가?
• RQ2 위치 평가 모델은 증명 상태 임베딩에서 남은 증명 단계 수를 정확하게 예측할 수 있는가?
• RQ3 실제 세계의 형식화, 예를 들어 페이트-톰슨 정리에서 인간 지도 데이터를 사용할 경우 기본 모델의 성능은 어떠한가?
• RQ4 합성된, 수작업으로 만든 대수적 재작성 문제는 학습된 모델을 사용한 증명 합성의 시험대로서 어느 정도 유용한가?
• RQ5 GamePad 프레임워크는 상호작용 증명에서 엔드 투 엔드 훈련과 몬테카를로 트리 탐색을 지원할 수 있는가?

주요 결과

• GamePad는 증명 상태, 전략, AST 등을 포함한 Coq 증명 트레이스를 성공적으로 추출하고 구조화하여 후속 기계 학습 작업을 가능하게 했습니다.
• 기본 모델들은 합성된 대수적 재작성 문제와 페이트-톰슨 형식화 양쪽 모두에서 전략 예측 및 위치 평가에 대해 훈련되고 평가되었습니다.
• 훈련된 전략 예측 모델을 사용하여 증명 스크립트 합성을 가능하게 하여 기계 학습 기반 증명 구축의 타당성을 입증했습니다.
• 페이트-톰슨 형식화는 상호작용 증명에서 기계 학습 모델을 훈련하고 평가하기 위한 풍부한 실제 세계 데이터셋을 제공합니다.
• 구조화된 표현은 항목 구문과 암묵적 인수 주석을 유지함으로써 의미 인식 모델링을 지원합니다.
• GamePad, 데이터셋, 모델의 오픈소스 배포는 재현 가능성과 향후 공식 증명 학습 분야의 벤치마킹을 가능하게 합니다.