[논문 리뷰] Internal Guidance for Satallax

Michael Färber, Chad E. Brown|arXiv (Cornell University)|2016. 05. 30.

Logic, programming, and type systems참고 문헌 1인용 수 5

한 줄 요약

이 논문은 높은 순서 논리에서의 자동 정리 증명기(Automated Theorem Prover, ATP)를 위한 내부 지도 방법을 제안한다. 이 방법은 단순한 베이지안 분류 기반으로, 단일 구조를 가진 레이블 발생을 통해 양성 및 음성 증명 예제를 동시에 통합한다. Satallax에 구현된 이 방법은 동일한 시간 예산 내에서 문제 해결률을 26% 향상시켰으며, 실패한 증명 시도로부터의 학습이 ATP 성능 향상에 기여함을 보여준다.

ABSTRACT

We propose a new internal guidance method for automated theorem provers based on the given-clause algorithm. Our method influences the choice of unprocessed clauses using positive and negative examples from previous proofs. To this end, we present an efficient scheme for Naive Bayesian classification by generalising label occurrences to types with monoid structure. This makes it possible to extend existing fast classifiers, which consider only positive examples, with negative ones. We implement the method in the higher-order logic prover Satallax, where we modify the delay with which propositions are processed. We evaluated our method on a simply-typed higher-order logic version of the Flyspeck project, where it solves 26% more problems than Satallax without internal guidance.

연구 동기 및 목표

• 과거의 증명 시도, 즉 성공적일 수도 있고 실패한 것도 포함하여 학습함으로써 자동 정리 증명기(ATP) 성능을 향상시키는 것.
• 이전에 음성 예제를 고려하지 못했던 기존의 나이브 베이지안 분류기의 한계를 극복하기 위해, 레이블 발생을 단일 구조를 가진 유형으로 일반화하는 것.
• Satallax, 고차 논리 기반 ATP에서 내부 지도를 구현하고, 오프라인 및 온라인 학습 환경을 모두 평가하는 것.
• 음성 예제가 내부 지도에 미치는 영향을 분석하고, 오직 양성 학습 데이터에 의존하는 방법과의 비교를 통해 그 영향을 측정하는 것.
• Flyspeck 프로젝트와 같은 대규모 증명 벤치마크에서 이 방법의 확장성 및 효율성 평가

제안 방법

• 레이블 발생을 단일 구조를 가진 유형으로 모델링하여 나이브 베이지안 분류의 일반화를 도모함으로써, 양성 및 음성 예제를 효율적으로 처리할 수 있도록 한다.
• 수정된 관련도 함수를 사용: r(l,F) = log P(l) + Σ_{f∈F} log(idf(f)) × log P(f|l), 여기서 F는 증명기 상태를 나타내는 특징이고, l은 처리된 절을 나타내는 레이블이다.
• 분류기는 성공적인 실행에서 생성된 증명 추적 데이터를 기반으로 훈련되며, 특정 증명기 상태에서 어떤 절이 유용하거나 해로운지 기록한다.
• 내부 지도는 현재 증명기 상태와 관련된 절의 예측 관련도에 따라, 절을 처리하는 지연 시간을 조정함으로써 적용된다.
• 이 방법은 오프라인 학습(이전 증명에서 훈련한 후 재실행)과 온라인 학습(증명 시도 중 점진적으로 훈련 데이터를 업데이트)의 두 가지 환경에서 평가된다.
• 이 방법은 Satallax 2.5에 구현되었으며, 훈련 데이터 수집을 위한 일관된 증명 관련 용어 추출 전략을 사용한다.

실험 결과

연구 질문

• RQ1 내부 지도에 음성 증명 예제를 통합함으로써, 오직 양성 예제만을 사용하는 기존 방법보다 ATP 성능 향상이 가능할까?
• RQ2 레이블 발생의 단일 구조 기반 일반화가 양성 및 음성 학습 데이터를 동시에 처리할 수 있는 효율적인 베이지안 분류를 가능하게 하는가?
• RQ3 학습된 증명기 상태와 절의 관련도 기반 내부 지도가 고차 논리 기반 ATP의 문제 해결률 향상에 얼마나 기여하는가?
• RQ4 동일한 계산 예산을 사용할 때, 지도된 ATP의 성능은 표준 타임아웃과 비교해 어떻게 되는가?
• RQ5 대규모 벤치마크인 Flyspeck에서 점진적 훈련 데이터를 사용하는 온라인 학습이 일관된 성능 향상으로 이어지는가?

주요 결과

• 1초 타임아웃 내에서 내부 지도 기반 Satallax는 기준 버전보다 26% 더 많은 문제를 해결하여 3428개의 문제를 해결한 반면, 기준 버전은 2717개를 해결했다.
• 가장 성능이 뛰어난 후처리 전략—추론 필터링을 통한 절 우선순위 추론—는 1초 내에 기준 버전이 해결하지 못한 786개의 문제를 추가로 해결했다.
• 온라인 학습 환경에서 Satallax는 내부 지도 기반으로 1초 내에 3374개의 문제를 해결했으며, 이는 기준 버전 대비 24% 향상된 성능이다.
• 48코어 서버에서 30초 타임아웃을 설정했을 때, 지도된 버전은 4028개의 문제를 해결했고, 기준 버전은 3097개를 해결하여 30% 향상된 성능을 보였다.
• 스코렘 필터링을 사용해 훈련한 분류기가 가장 뛰어난 성능을 보였으며, 훈련 과정은 단 3초가 걸려 1.8MB 크기의 모델 파일을 생성했다.
• 이 방법은 단순한 타임아웃 두 배 설정보다도 뛰어나다. 이중 시간을 할애한 기준 버전은 2초 내에 2845개의 문제를 해결했지만, 지도된 버전은 1초 내에 3428개의 문제를 해결했다.