[논문 리뷰] A Survey on Deep Learning for Theorem Proving

Zhaoyu Li, Jialiang Sun외 6명|arXiv (Cornell University)|2024. 04. 15.

Logic, programming, and type systems인용 수 6

한 줄 요약

딥 러닝 방법의 정리 연구: 정리 증명에 대한 자동 형식화, 전제 선택, 증명 단계 생성, 증명 검색 등의 작업, 데이터셋, 평가 지표, 비공식 및 공식 증명 설정에 걸친 미래 방향을 포괄적으로 다룸.

ABSTRACT

Theorem proving is a fundamental aspect of mathematics, spanning from informal reasoning in natural language to rigorous derivations in formal systems. In recent years, the advancement of deep learning, especially the emergence of large language models, has sparked a notable surge of research exploring these techniques to enhance the process of theorem proving. This paper presents a comprehensive survey of deep learning for theorem proving by offering (i) a thorough review of existing approaches across various tasks such as autoformalization, premise selection, proofstep generation, and proof search; (ii) an extensive summary of curated datasets and strategies for synthetic data generation; (iii) a detailed analysis of evaluation metrics and the performance of state-of-the-art methods; and (iv) a critical discussion on the persistent challenges and the promising avenues for future exploration. Our survey aims to serve as a foundational reference for deep learning approaches in theorem proving, inspiring and catalyzing further research endeavors in this rapidly growing field. A curated list of papers is available at https://github.com/zhaoyu-li/DL4TP.

연구 동기 및 목표

• 자동 형식화(autoformalization), 전제 선택, 증명 단계 생성, 증명 검색 등의 작업 전반에 걸친 정리된 딥 러닝 접근법에 대한 정리 리뷰를 제공합니다.
• DL4TP에서 사용되는 가용 데이터셋과 데이터 생성 전략을 요약합니다.
• 최신 방법의 평가 지표와 성능을 분석합니다.
• 정리 증명 DL에서의 도전과제와 향후 연구 방향을 논의합니다.

제안 방법

• 작업별로 DL 접근법을 분류합니다(자동 형식화, 전제 선택, 증명 단계 생성, 증명 검색, 기타).
• 비공식/공식 소스의 데이터셋과 합성 데이터 생성 기법을 요약합니다.
• 평가 지표(R@k, MRR, BLEU 등)와 MiniF2F, LeanDojo, PISA 등과 같은 데이터셋에 대한 벤치마크 성능을 검토합니다.
• 규칙 기반 생성기, 반복적 증강, 자동(형식화)화 등 데이터 생성 방법을 논의합니다.
• 실패 사례, 주의사항, 인간-인공지능 상호 작용에 대한 고려사항을 강조합니다.

실험 결과

연구 질문

• RQ1 정리 증명을 앞당기기 위해 사용되는 주요 DL 작업은 무엇이며, 오늘날 어떻게 해결되고 있나요?
• RQ2 DL4TP를 위한 어떤 데이터셋과 데이터 생성 전략이 존재하며, 이들이 평가에 어떤 영향을 주나요?
• RQ3 진행 상황을 가장 잘 반영하는 지표와 벤치마크는 무엇이며, 현재 평가의 한계는 무엇인가요?
• RQ4 DL4TP 진행을 저해하는 주요 도전과제는 무엇이며, 가장 유망한 미래 방향은 무엇인가요?

주요 결과

• DL4TP는 2016년 약 2편에서 2023년 약 50편으로 성장했으며, 자동 형식화, 전제 선택, 증명 단계 생성, 증명 검색을 포함합니다.
• 전제 선택은 Dense Retrieval(DPR) 및 수식의 그래프 기반 표현으로부터 이점을 얻어 LeanDojo 및 PISA와 같은 벤치마크에서 재현율(Recall)과 MRR을 향상시킵니다.
• 구조화된 프레임워크에서 LLM(예: GPT-4)을 이용한 최첨단 증명 생성 및 검색은 전술 기반 접근 방식에 비해 상당한 이점을 달성하며, 예를 들어 LEGO-Prover가 MiniF2F-valid에서 57.0%, MiniF2F-test에서 50.0%를 달성했습니다.
• 적은 샷 LLM 프롬프트를 이용한 자동 형식화는 보통의 성공(예: 고등학교 문제 25%, 학부 문제 13%)이지만 비공식화에는 더 높은 성공률(~60-76%)로 나타나 큰 도전 과제를 부각시킵니다.
• 평가는 교차 증명 도우미 간 차이, 자원 제약, 설정에 대한 민감성으로 인해 복잡합니다; 표준화된 교차 도메인 비교는 여전히 어렵습니다.
• 데이터 부족은 주요 병목 현상이며, Archive of Formal Proofs나 mathlib와 같은 형식 자료 아카이브가 상당한 데이터를 제공하지만 매우 큰 모델에는 여전히 충분하지 않습니다.