[논문 리뷰] Proof Pattern Search in Coq/SSReflect

Jónathan Heras, Ekaterina Komendantskaya|arXiv (Cornell University)|2014. 02. 01.

Logic, programming, and type systems참고 문헌 8인용 수 6

한 줄 요약

이 논문은 Coq/SSReflect를 위한 기계학습 도구인 ML4PG를 향상시켜, 정의, 유형, 보조정리 문장 등을 포함한 Coq 표현식으로부터 특징을 추출하기 위해 반복 클러스터링을 도입함으로써 전략적 패턴을 전략 시퀀스를 넘어서 유사한 증명 패턴을 발견할 수 있도록 한다. 또한 증명의 어느 단계에서든 전략을 포착하기 위해 증명패치(proof-patches)를 도입하고, 자동기 형태의 표현을 사용해 관련 특징을 시각화함으로써 패턴의 해석 가능성과 재사용 가능한 증명 아이디어 제안의 정확도를 크게 향상시킨다.

ABSTRACT

ML4PG is an extension of the Proof General interface, allowing the user to invoke machine-learning algorithms and find proof similarities in Coq/SSReect libraries. In this paper, we present three new improvements to ML4PG. First, a new method of "recurrent clustering" is introduced to collect statistical features from Coq terms. Now the user can receive suggestions about similar definitions, types and lemma statements, in addition to proof strategies. Second, Coq proofs are split into patches to capture proof strategies that could arise at different stages of a proof. Finally, we improve ML4PG's output introducing an automaton-shape representation for proof patterns.

연구 동기 및 목표

• 기존 Coq 검색 도구가 정확한 패턴을 지정해야 하는 제한점을 해결하기 위해, 목표에 종속되지 않고 비지도 학습을 통해 재사용 가능한 증명 전략을 탐지하는 것을 목표로 한다.
• ML4PG를 전략 시퀀스를 넘어서 정의, 유형, 보조정리 문장 등의 Coq 표현식의 구조적 특징을 포함하도록 확장하여 더 깊은 증명 유사성을 포착하는 것을 목표로 한다.
• 기계학습 클러스터의 해석 가능성을 향상시키기 위해, 관련 증명 특징과 전략 전이를 시각화하는 자동기 형태의 표현을 도입하는 것을 목표로 한다.
• 증명의 어느 단계에서든 패턴을 탐지할 수 있도록 하기 위해 증명을 모듈러한 패치로 분해함으로써, 초기 단계에만 국한되지 않는 전략 탐지 기능을 제공하는 것을 목표로 한다.
• 전체 Coq 라이브러리에 걸쳐 구문적 및 의미적 특징을 재귀적으로 클러스터링하여 제안되는 증명 패턴의 정확도와 관련성을 높이는 것을 목표로 한다.

제안 방법

• 재귀 클러스터링—정의, 유형, 보조정리 문장 등을 포함한 Coq 표현식으로부터 통계적 특징을 추출하는 새로운 기법을 도입하여 구조적 유사성을 탐지한다.
• 증명을 증명패치로 분할하여, 초기 몇 단계뿐 아니라 증명의 어느 단계에서든 전략 패턴을 분석하고 비교할 수 있도록 한다.
• Weka에서 제공하는 상관 기반 방법을 사용한 특징 선택을 적용하여 클러스터 형성에 영향을 주는 가장 관련 있는 특징(예: 전략 유형, 목표 형태, 보조정리 사용 여부 등)을 식별한다.
• 발견된 증명 패턴을 자동기 형태의 다이어그램으로 표현하며, 상태는 목표 구성으로, 전이(transition)는 전략으로 표현하고, 특징 상관관계는 주석으로 표기한다.
• 클러스터링의 입력으로 전체 Coq/SSReflect 라이브러리의 구문을 사용함으로써 패턴 탐지의 범위와 정확도를 증가시킨다.
• 통계적 클러스터링과 기호적 분석을 융합한 하이브리드 접근 방식을 활용하여, 서로 다른 정리와 라이브러리 간에 유사한 증명 조각을 연결한다.

실험 결과

연구 질문

• RQ1 전략의 순서뿐 아니라 정의, 유형, 보조정리 문장 등의 구조적 특징을 포함하여 Coq/SSReflect에서 증명 패턴을 어떻게 탐지할 수 있는가?
• RQ2 증명의 초기 단계뿐 아니라 어느 단계에서든 전략을 탐지할 수 있도록 하는 기법은 무엇인가?
• RQ3 기계학습 클러스터의 해석 가능성을 높이기 위해, 어떤 특징이 유사성에 기여했는지 식별할 수 있도록 하는 방법은 무엇인가?
• RQ4 기존 방법에 비해 Coq 표현식에 대한 재귀 클러스터링이 제안되는 증명 패턴의 정확도와 관련성에 얼마나 기여하는가?
• RQ5 자동기 형태의 표현은 발견된 증명 패턴의 논리적 흐름과 관련 특징을 효과적으로 전달할 수 있는가?

주요 결과

• 재귀 클러스터링은 전략 순서를 넘어서 정의와 보조정리 문장 등의 구문적 및 의미적 유사성을 포착함으로써 특징 추출을 크게 향상시킨다.
• 증명패치를 통해 ML4PG는 깊은 증명 단계(예: 15–20번째 또는 115–120번째 단계)에서도 전략을 탐지하고 제안할 수 있게 되었으며, 복잡한 국소적이지 않은 패턴을 탐지할 수 있게 되었다.
• 자동기 형태의 표현은 관련 특징과 전략 전이를 성공적으로 시각화하여 클러스터를 해석 가능하게 하고 핵심 증명 전략을 부각시켰다.
• 기본 설정에서 ML4PG는 가장 유사한 정리(예: Lemma 1)와 다른 정리의 관련 패치를 정확히 식별하여 관련 없는 제안을 줄였다.
• 상관 기반 방법을 통한 특징 선택은 클러스터링에 기여하는 핵심 요소(예: 전략 유형, 목표 기호(예: ∑), 보조정리 사용 여부 등)를 식별하여 클러스터의 관련성을 향상시켰다.
• 확장된 ML4PG 시스템은 형식화된 수학 및 소프트웨어 검증과 같은 다양한 분야에서 목표에 종속되지 않고 비지도 학습을 통해 증명 패턴을 탐지하는 기능을 지원한다.