[논문 리뷰] Towards Smart Proof Search for Isabelle

Yutaka Nagashima|arXiv (Cornell University)|2017. 01. 10.

Mathematics, Computing, and Information Processing참고 문헌 1인용 수 3

한 줄 요약

이 논문은 대규모 증명 코퍼스에서의 후행 평가 및 강화 학습을 통해 메타 수준 히ュ리스틱을 결합함으로써 Isabelle에서 스마트하고 베스트퍼스트 증명 검색을 가능하게 하는 확률적 기반의 선언적 증명 전략 언어(PDPSL)를 제안한다. 이는 기존의 PSL 및 Sledgehammer와 같은 시스템에서의 브루트포스 전략 조합의 한계를 극복하기 위해 전략 선택을 동적이고 정보 기반의 탐색 과정으로 모델링함으로써 확률적 가중치와 학습된 진전 측정 기준을 통해 이뤄진다.

ABSTRACT

Despite the recent progress in automatic theorem provers, proof engineers are still suffering from the lack of powerful proof automation. In this position paper we first report our proof strategy language based on a meta-tool approach. Then, we propose an AI-based approach to drastically improve proof automation for Isabelle, while identifying three major challenges we plan to address for this objective.

연구 동기 및 목표

• 햄머 스타일 도구의 발전에도 불구하고 상호작용 증명에서의 민첩하고 확장 가능한 증명 자동화의 부족을 해결하기 위해.
• Isabelle의 전략 언어의 절차적 고정성 문제를 해결하기 위해 선언적이고 메타 수준의 전략 기술 언어를 도입하기 위해.
• 사전 확률적 전략 선택과 후행 평가된 전략 결과를 결합함으로써 증명 탐색의 효율성을 향상시키기 위해.
• 대규모 증명 코퍼스(예: AFP, seL4)를 활용해 수작업으로 작성된 증명 히ュ리스틱을 개선하기 위해 강화 학습을 적용하기 위해.
• 구체적인 증명 패턴에 대한 과적합을 줄이기 위해 구체적인 증명 의무가 아닌 메타 정보에 집중함으로써 학습된 전략의 과적합을 감소시키기 위해.

제안 방법

• 구체적인 전략가 아닌 증명 목표 및 Isabelle 라이브러리 구성 요소에 대한 메타 정보를 기술하는 확률적 선언적 증명 전략 언어(PDPSL)를 설계하기 위해.
• 노드가 증명 상태를 나타내고 간선이 전략 적용을 나타내는 증명 탐색 그래프 위에서 최선의 우선 탐색을 구현하기 위해.
• 목표 단순화 또는 구조적 변화와 같은 진전 측정 기준에 기반해 런타임 후행 평가를 통해 전략 적용에 가중치를 할당하기 위해.
• 다양한 진전 측정 기준을 탐색 히ュ리스틱에 통합하여 각 단계에서 가장 유망한 전략을 선택하기 위해.
• 대규모 증명 코퍼스(예: AFP, seL4)에서 강화 학습을 적용하여 수작업으로 작성된 PDPSL 전략을 과적합 없이 자동으로 개선하기 위해.
• 구체적인 목표 표현식이 아닌 메타 수준 정보(예: 재귀 함수, 정의 메커니즘)에 국한함으로써 PDPSL의 강건성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 각 목표에 대해 특정 전략를 하드코딩하지 않고도 증명 탐색을 이끄는 선언적 증명 전략 언어는 어떻게 설계할 수 있는가?
• RQ2 증명 의무의 어떤 메타 수준 기능이 유망한 전략 적용을 신뢰성 있게 예측할 수 있는가?
• RQ3 어떤 전략 적용의 후행 측정 기준이 증명 탐색의 진전을 효과적으로 나타내며 최선의 우선 전략을 이끌 수 있는가?
• RQ4 증명 코퍼스에 강화 학습을 어떻게 적용하여 수작업으로 작성된 증명 히ュ리스틱을 과적합 없이 향상시킬 수 있는가?
• RQ5 사전 확률적 기대와 후행 평가를 결합하면 현재의 브루트포스 접근 방식보다 더 효율적인 증명 탐색을 이끌 수 있는가?

주요 결과

• PDPSL는 메타 수준 기능과 후행 평가에 기반한 동적 전략 적용 가중치를 통해 최선의 우선 증명 탐색 전략을 가능하게 한다.
• 이 방법은 전략 작성과 저수준 전략 구현을 분리함으로써 Sledgehammer와 같은 하위 도구의 독립적 개선을 가능하게 한다.
• 전략 결과의 후행 평가는 실제 증명 진전에 기반한 탐색 히ュ리스틱을 런타임에서 개선할 수 있는 메커니즘을 제공한다.
• Archive of Formal Proofs와 seL4와 같은 대규모 증명 코퍼스는 PDPSL 전략을 향상시키기 위한 강화 학습 모델 훈련에 충분한 데이터를 제공한다.
• 구체적인 표현식이 아닌 메타 정보에 국한된 PDPSL는 학습된 전략의 과적합 위험을 감소시킨다.
• 이 방법은 브루트포스 전략 조합에서부터 증명 공간을 유도적이고 정보 기반의 탐색으로 전환한다.