[논문 리뷰] HOList: An Environment for Machine Learning of Higher-Order Theorem Proving (extended version)

Kshitij Bansal, Sarah M. Loos외 3명|arXiv (Cornell University)|2019. 04. 05.

Logic, programming, and type systems인용 수 13

한 줄 요약

HOList는 고차 논리 정리 증명을 위한 딥러닝 모델 훈련을 목적으로 하여 HOL Light 기반으로 구축된 오픈소스 강화학습 환경이다. 형식화된 수학의 광범위한 벤치마크를 포함하며, 킬러의 추측을 포함한다. 이에 따라 DeepHOL이라는 딥러닝 기반 강화학습 에이전트를 도입하여 이 도전적인 추론 작업에서 뛰어난 성능을 달성하였다.

ABSTRACT

We present an environment, benchmark, and deep learning driven automated theorem prover for higher-order logic. Higher-order interactive theorem provers enable the formalization of arbitrary mathematical theories and thereby present an interesting, open-ended challenge for deep learning. We provide an open-source framework based on the HOL Light theorem prover that can be used as a reinforcement learning environment. HOL Light comes with a broad coverage of basic mathematical theorems on calculus and the formal proof of the Kepler conjecture, from which we derive a challenging benchmark for automated reasoning. We also present a deep reinforcement learning driven automated theorem prover, DeepHOL, with strong initial results on this benchmark.

연구 동기 및 목표

• 고차 논리 정리 증명에서 기계 학습 모델을 훈련하기 위한 확장 가능하고 오픈소스의 환경을 구축하기 위해.
• 기초 정리와 킬러의 추측의 증명을 포함한 실제 형식화된 수학에 기반한 종합적인 벤치마크를 개발하기 위해.
• 복잡하고 개방형 수학 영역에서 효과적인 증명 탐색 전략을 학습할 수 있도록 딥러닝 기반 강화학습 에이전트를 가능하게 하기 위해.
• 고차 논리에서 딥러닝과 형식적 정리 증명을 결합하는 것이 가능함을 입증하기 위해.

제안 방법

• 프레임워크는 HOL Light 정리 증명기 기반으로 구축되어 형식 수학에서의 강화학습을 위한 체계적인 환경을 제공한다.
• 벤치마크는 HOL Light 내의 기존 형식화로부터 유도되며, 미적분학의 핵심 정리와 킬러의 추측의 증명을 포함한다.
• 정책 네트워크가 증명 탐색 공간에서 행동을 예측하는 방식으로, 증명 단계를 선택하는 데 사용되는 딥러닝 기반 강화학습 에이전트인 DeepHOL이 훈련된다.
• 환경은 증명 진행 상황과 정확성에 기반한 상태 표현 학습, 행동 공간 정의, 보상 형상 조정을 지원한다.
• 증명 탐색의 효율성과 성공률을 향상시키기 위해 애자일러닝과 강화학습을 결합하여 훈련이 수행된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 강화학습 에이전트는 실제 형식화된 수학적 벤치마크를 기반으로 하여 고차 논리에서 정리를 증명하는 데 성공할 수 있는가?
• RQ2 기본 전략 대비 복잡한 증명 탐색 공간을 탐색하는 데 있어 학습된 정책의 효율성은 어떠한가?
• RQ3 사전 훈련된 모델이 고차 논리 내 다양한 수학 영역에 걸쳐 얼마나 일반화될 수 있는가?
• RQ4 애자일러닝과 강화학습을 결합하면 정리 증명에서 샘플 효율성이 향상되는가?

주요 결과

• DeepHOL은 HOList 벤치마크에서 뛰어난 성능을 보이며, 고차 논리 정리 증명에서 딥러닝 기반 강화학습의 가능성을 입증하였다.
• HOL Light의 미적분학 및 킬러의 추측 형식화로부터 파생된 벤치마크는 자동 추론을 위한 현실적이고 도전적인 테스트베드를 제공한다.
• 애자일러닝과 강화학습의 통합은 증명 탐색에서 샘플 효율성과 수렴 속도를 향상시켰다.
• 오픈소스 프레임워크는 재현 가능한 연구와 향후 형식 수학을 위한 인공지능 시스템 개발을 가능하게 한다.