[논문 리뷰] HOL(y)Hammer: Online ATP Service for HOL Light

Cezary Kaliszyk, Josef Urban|arXiv (Cornell University)|2013. 09. 19.

Logic, programming, and type systems참고 문헌 24인용 수 4

한 줄 요약

HOL(y)Hammer는 토폴로지 기반의 AI/ATP 서비스로, 기존 증명에 기반한 전제 선택, ATP 형식으로의 변환, 그리고 7개의 AI/ATP 조합과 4개의 결정 절차를 병렬 실행하는 방식을 통해 HOL Light에서 자동 정리 증명을 가능하게 한다. 14-CPU 워크스테이션에서 30초 이내에 47%의 성공률로 Flyspeck 정리들을 증명하며, 온라인 버전은 현재 48-CPU 서버에서 운영 중이며, 개인용으로의 로컬 설치도 지원한다.

ABSTRACT

HOL(y)Hammer is an online AI/ATP service for formal (computer-understandable) mathematics encoded in the HOL Light system. The service allows its users to upload and automatically process an arbitrary formal development (project) based on HOL Light, and to attack arbitrary conjectures that use the concepts defined in some of the uploaded projects. For that, the service uses several automated reasoning systems combined with several premise selection methods trained on all the project proofs. The projects that are readily available on the server for such query answering include the recent versions of the Flyspeck, Multivariate Analysis and Complex Analysis libraries. The service runs on a 48-CPU server, currently employing in parallel for each task 7 AI/ATP combinations and 4 decision procedures that contribute to its overall performance. The system is also available for local installation by interested users, who can customize it for their own proof development. An Emacs interface allowing parallel asynchronous queries to the service is also provided. The overall structure of the service is outlined, problems that arise and their solutions are discussed, and an initial account of using the system is given.

연구 동기 및 목표

• HOL Light 시스템에서 공식 수학을 위한 온라인, 확장 가능하고 사용자 우호적인 AI/ATP 서비스를 제공하는 것.
• 기존 증명에 기반한 전제 선택과 ATP를 활용하여 HOL Light 개발에서의 추측 증명을 자동화하는 것.
• 공개 온라인 액세스와 로컬 설치를 모두 지원하여 비공개, 오프라인, 또는 고성능 컴퓨팅 환경에서도 사용할 수 있도록 하는 것.
• Emacs, 웹, 명령줄 인터페이스를 통해 상호작용 증명 워크플로우에 통합할 수 있도록 하는 것.
• 버전 제어 및 비공개 개발을 안전하게 처리할 수 있도록 향후 라이브러리의 진화와 확장성에 대응하는 것.

제안 방법

• 시스템은 HOL Light의 공식화를 ATP 호환 형식으로 변환하며, 이는 무형식 일阶논리, 다형적 타입이 있는 일阶논리, 그리고 타입이 있는 고계논리가 포함된다.
• Flyspeck, Multivariate Analysis, Complex Analysis 등의 기존 라이브러리에서의 증명에 기반한 여러 전제 선택 기법을 적용한다.
• 각 쿼리에 대해 7개의 서로 다른 AI/ATP 조합과 4개의 결정 절차를 병렬로 실행하여 커버리지와 성능을 극대화한다.
• 콘텐츠 인코딩과 체크포인팅을 통해 프로젝트 버전 간에 이전에 계산된 지식을 효율적으로 재사용한다.
• 웹 인터페이스를 통한 온라인 액세스와 사용자 전용 개발에 맞게 맞춤형 훈련이 가능한 로컬 설치를 모두 지원한다.
• 이전 성공/실패 사례로부터의 학습과 전략 스케줄링을 활용하여 시간이 지남에 따라 ATP 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 확장 가능하고 온라인 기반의 AI/ATP 서비스가 대규모 HOL Light 개발에서 수동적인 전제 선택과 증명 구축의 필요성을 상당히 줄일 수 있는가?
• RQ2 전제 선택, ATP 형식으로의 변환, 그리고 여러 AI/ATP 시스템의 병렬 실행을 조합했을 때 공식 정리 증명에 얼마나 효과적인가?
• RQ3 Flyspeck과 같은 대규모 코퍼스에서 훈련된 AI/ATP 방법이 관련 수학 라이브러리의 새로운 추측에 얼마나 일반화되는가?
• RQ4 저지연 응답을 유지하면서도 여러 라이브러리와 버전을 지원하기 위해 AI/ATP 서비스를 확장할 때 발생하는 아키텍처적 및 성능적 트레이드오프는 무엇인가?
• RQ5 공유 서비스에서 사용자가 비공개 공식 개발을 업로드하고 업데이트할 수 있도록 허용할 경우, 개인정보 보호와 보안은 어떻게 확보할 수 있는가?

주요 결과

• 시스템은 14-CPU 워크스테이션에서 30초 이내에 가장 강력한 AI/ATP 조합을 사용하여 Flyspeck 정리들을 47%의 성공률로 자동으로 증명한다.
• 온라인 버전은 48-CPU 서버에서 실행되며, 7개의 조합과 4개의 결정 절차를 병렬 실행하여 쿼리당 최대 70회의 별개의 AI/ATP 시도를 수행한다.
• 서비스는 공개 온라인 액세스와 로컬 설치를 모두 지원하여 오프라인 사용과 비공개 개발, 사용자 맞춤형 훈련이 가능하다.
• 콘텐츠 인코딩과 체크포인팅을 통해 이전에 계산된 증명 지식을 효율적으로 재사용하여 프로젝트 업데이트 시 중복 계산을 줄인다.
• 전략 스케줄링과 이전 결과로부터의 학습이 ATP 성능 향상에 크게 기여하며, 특히 더 높은 시간 제한 하에서 두드러진다.
• 이 접근법은 향후 시스템에서 과학적 자연어의 깊은 의미 해석을 가능하게 하여, 비공식 수학적 텍스트와의 통합 잠재력을 보여준다.