[논문 리뷰] Hammering Mizar by Learning Clause Guidance

Jan Jakubův, Josef Urban|arXiv (Cornell University)|2019. 04. 02.

Logic, programming, and type systems참고 문헌 27인용 수 20

한 줄 요약

이 논문은 머신러닝을 활용한 내부 클라우즈 선택 지침을 통합함으로써, Mizar 수학 라이브러리 전반에 걸쳐 E 자동정리증명기의 실시간 증명 성능을 70% 향상시켰다. 증명 트레이스로부터 반복 학습을 통해 XGBoost를 사용한 해시화된 클라우즈 특징을 기반으로, 시스템은 점차 더 효과적인 증명 전략으로 진화한다. 이는 엔드 투 엔드로 학습된 내부 지침이 대규형 이론 형식화에서 수동으로 튜닝된 전략을 능가함을 보여준다.

ABSTRACT

We describe a very large improvement of existing hammer-style proof automation over large ITP libraries by combining learning and theorem proving. In particular, we have integrated state-of-the-art machine learners into the E automated theorem prover, and developed methods that allow learning and efficient internal guidance of E over the whole Mizar library. The resulting trained system improves the real-time performance of E on the Mizar library by 70% in a single-strategy setting.

연구 동기 및 목표

• 대규모 상호작용 정리증명(ITP) 라이브러리에서 자동정리증명기의 실시간 성능을 향상시키는 것.
• 기존 펌머의 한계를 해결하기 위해, 전제 선택에만 집중하고 내부 증명 검색 지침에는 초점을 두지 않는 것.
• E와 같은 포화 기반 ATP에서 Mizar와 같은 대규모 라이브러리에서 내부 클라우즈 선택을 스케일러블하고 효율적인 방식으로 학습하는 방법을 개발하는 것.
• 엔드 투 엔드 머신러닝이 대규형 이론 증명 검색에서 인간이 설계한 전략을 능가할 수 있는지 평가하는 것.

제안 방법

• 학습된 가중치를 사용해 XGBoost 기반 기울기 부스팅 트리 모델을 E 정리증명기에 통합하여 주어진 클라우즈 선택을 지도하는 방식.
• 고차원적이고 수작업으로 구성된 클라우즈 특징을 관리 가능한 65,536차원 공간으로 압축하기 위해 특징 해싱을 사용하여 성능 유지를 유지하면서도 효율성을 향상.
• MaLARea 스타일 피드백 루프 적용: Mizar 라이브러리에서 E를 실행하고 성공한 증명에서 양성/음성 학습 예제를 추출하여 분류기 재학습하고, 개선된 전략을 다시 적용.
• 26,107개 문제에서 유도된 6300만 개의 증명 검색 예제를 기반으로 트리 깊이를 점차 증가시켜(9, 12, 16) 성능에 미치는 영향 평가.
• 기본 E 전략과 학습된 모델을 조합하는 포트폴리오 전략(기호 ⊕)을 사용해 안정성과 해답 커버리지 향상.
• 학습 속도, 모델 크기, 추론 속도를 측정하여 학습된 지침 시스템의 스케일러비리티와 효율성 평가.

실험 결과

연구 질문

• RQ1 머신러닝 기반 내부 클라우즈 선택이 Mizar와 같은 대규모 ITP 라이브러리에서 포화 기반 ATP의 실시간 성능을 크게 향상시킬 수 있는가?
• RQ2 수작업 특징 없이 엔드 투 엔드로 클라우즈 선택을 학습할 경우, 기존의 특징 엔지니어링 기법보다 대규모 증명 검색에서 더 나은 성능을 내는가?
• RQ3 증명 트레이스로부터 반복 학습을 통해 전략을 개선할 경우, 여러 라운드에 걸쳐 ATP의 누적 성능에 어떤 영향을 미치는가?
• RQ4 특징 해싱은 수백만 개의 증명 예제에서 스케일러블한 훈련을 가능하게 하면서도 높은 모델 정확도를 유지할 수 있는가?
• RQ5 строго한 시간 제한 내에서 인간이 튜닝한 기준 전략 대비 학습된 전략이 해결할 수 있는 문제 수에서의 성능 향상은 어느 정도인가?

주요 결과

• 최고의 학습 전략인 E ⊕ M₁₆³은 60초 이내에 26,107개 문제를 해결하여 기준 전략 대비 실시간 성능에서 70% 향상.
• 트리 깊이 16로 학습된 전략은 10초 제한 시간 내에서 기준 전략 대비 70% 성능 향상으로, 이전의 어떤 E 전략보다도 훨씬 더 많은 문제를 해결.
• 포트폴리오 전략(E ⊕ M₁₆³)은 이전에 진화된 6개의 E 전략을 각각 10초 동안 실행한 6전략 포트폴리오보다 18.3% 더 많은 문제를 해결.
• 깊은 트리일수록 추론 속도가 15% 감소했지만, 더 높은 정확도로 인해 실시간 성능이 향상되어 모델 복잡도가 정당화됨을 시사.
• 200개의 트리와 해시 기반 2¹⁵를 사용해 40GB의 데이터와 12개의 CPU 일 동안 훈련된 모델은 대규모 증명 코퍼스에서의 스케일러비리티를 입증.
• 반복 학습은 첫 번째 반복 이후에도 지속적인 향상을 이끌었으며, 각 후속 라운드에서 새로운 해결 가능한 문제들이 추가되고 전략이 정교화됨.