[논문 리뷰] Graph2Tac: Online Representation Learning of Formal Math Concepts

Lasse Blaauwbroek, Miroslav Olšák외 4명|arXiv (Cornell University)|2024. 01. 05.

Topic Modeling인용 수 5

한 줄 요약

본 논문은 Coq 정의의 온라인 표현 학습을 위한 그래프 신경망인 Graph2Tac를 소개하며, 오프라인 기준선 대비 1.5배–1.72배의 개선을 달성하고 보이지 않는 도메인에서의 정리 증명 향상을 위해 온라인 k-NN과 보완적 역할을 수행합니다.

ABSTRACT

In proof assistants, the physical proximity between two formal mathematical concepts is a strong predictor of their mutual relevance. Furthermore, lemmas with close proximity regularly exhibit similar proof structures. We show that this locality property can be exploited through online learning techniques to obtain solving agents that far surpass offline learners when asked to prove theorems in an unseen mathematical setting. We extensively benchmark two such online solvers implemented in the Tactician platform for the Coq proof assistant: First, Tactician's online $k$-nearest neighbor solver, which can learn from recent proofs, shows a $1.72 imes$ improvement in theorems proved over an offline equivalent. Second, we introduce a graph neural network, Graph2Tac, with a novel approach to build hierarchical representations for new definitions. Graph2Tac's online definition task realizes a $1.5 imes$ improvement in theorems solved over an offline baseline. The $k$-NN and Graph2Tac solvers rely on orthogonal online data, making them highly complementary. Their combination improves $1.27 imes$ over their individual performances. Both solvers outperform all other general-purpose provers for Coq, including CoqHammer, Proverbot9001, and a transformer baseline by at least $1.48 imes$ and are available for practical use by end-users.

연구 동기 및 목표

• 온라인 정보가 오프라인 학습과 비교했을 때 Coq에서 자동 증명에 향상을 가져다 준다는 것을 입증한다.
• 본 연구는 Graph2Tac를 개발하여 이미 보인 정의와 보이지 않는 정의 모두에 대해 계층적이고 정의 인식 임베딩을 생성하도록 Graph2Tac를 개발한다.
• 새로운 수학 도메인에서의 정리 증명 향상을 평가하기 위해 Graph2Tac를 온라인 k-NN 및 기타 기준선과 비교한다.

제안 방법

• Coq 지식을 정의와 증명 상태의 크고 상호 연결된 단일 그래프로 표현한다.
• 그 정의들의 그래프로부터 새로운 정의의 임베딩을 계산하는 계층적 정의 임베딩 신경망을 도입한다.
• 정의 임베딩 작업과 증명 상태/전술 예측 작업의 두 가지 과제를 갖는 목표를 가진 그래프 신경망을 학습한다.
• 게이트된 메시지 전달 GNN을 8홉으로 사용하여 노드 임베딩을 생성하고, 그래프 임베딩으로 풀링하며, MLP와 RNN 기반 디코더를 통해 전술과 전술 인수를 예측한다.
• 추론 중에 새로운 정의에 대한 임베딩을 위상적으로 계산하고 빔 탐색 디코딩(빔 너비 256)을 통해 전술을 예측한다.
• 온라인 k-NN 및 기저선(CoqHammer, transformer 등)과 비교하고 상보적 강점을 분석한다.

실험 결과

연구 질문

• RQ1 온라인 정의 임베딩이 오프라인 학습자와 비교해 보이지 않는 Coq 패키지에서의 정리 증명을 개선할 수 있는가?
• RQ2 Graph2Tac의 계층적 정의 표현이 전술과 그 인수의 예측에 어떤 영향을 미치는가?
• RQ3 Graph2Tac와 온라인 k-NN의 결합이 전체 증명 성능에 미치는 영향은 무엇인가?
• RQ4 보이지 않는 도메인에서 Graph2Tac가 CoqHammer, Proverbot9001, 그리고 transformer 기반 기준선에 비해 어떤 성능을 보이는가?
• RQ5 새로운 정의와 증명으로부터의 온라인 학습이 실제 Coq 라이브러리에서 증명 성공을 어느 정도 향상시키는가?

주요 결과

• 온라인 k-NN은 오프라인 동등체보다 정리 증명을 1.72배 더 수행한다(25.8% 대 15.0%).
• Graph2Tac의 정의 임베딩 작업은 오프라인 기준선 대비 성능을 17.4%에서 26.1%로 향상시켜 (1.5배).
• Graph2Tac와 온라인 k-NN은 상보적이며, 이들의 조합은 각각 단독일 때보다 1.27배 더 많은 정리 증명을 해결한다.
• Graph2Tac와 k-NN은 CoqHammer, Proverbot9001, ASTactic, TacTok, Passport를 포함한 모든 일반 목적 Coq 증명기보다 최소 1.48배 더 우수하다.
• Graph2Tac은 Tactician 플랫폼과의 통합을 통해 Coq 최종 사용자에게 편리하게 제공되는 최초의 신경망 모델이다.
• 다양한 평가에서 Graph2Tac와 k-NN이 함께 테스트 세트의 상당 부분(33.2%)을 증명한다.