[論文レビュー] HOL(y)Hammer: Online ATP Service for HOL Light

Cezary Kaliszyk, Josef Urban|arXiv (Cornell University)|Sep 19, 2013

Logic, programming, and type systems参考文献 24被引用数 4

ひとこと要約

HOL(y)Hammer は、前提選択、ATP 形式への翻訳、および 7 種類の AI/ATP 結合と 4 つの意思決定手順の並列実行を組み合わせることで、HOL Light における自動定理証明を可能にするオンライン AI/ATP サービスです。14 コアのワークステーションで 30 秒間で Flyspeck の定理を 47% の成功率で証明できており、オンライン版は現在 48 コアのサーバーで稼働しており、プライベート利用のためのローカルインストールも可能になっています。

ABSTRACT

HOL(y)Hammer is an online AI/ATP service for formal (computer-understandable) mathematics encoded in the HOL Light system. The service allows its users to upload and automatically process an arbitrary formal development (project) based on HOL Light, and to attack arbitrary conjectures that use the concepts defined in some of the uploaded projects. For that, the service uses several automated reasoning systems combined with several premise selection methods trained on all the project proofs. The projects that are readily available on the server for such query answering include the recent versions of the Flyspeck, Multivariate Analysis and Complex Analysis libraries. The service runs on a 48-CPU server, currently employing in parallel for each task 7 AI/ATP combinations and 4 decision procedures that contribute to its overall performance. The system is also available for local installation by interested users, who can customize it for their own proof development. An Emacs interface allowing parallel asynchronous queries to the service is also provided. The overall structure of the service is outlined, problems that arise and their solutions are discussed, and an initial account of using the system is given.

研究の動機と目的

• HOL Light システムにおける形式的数学のためのオンラインでスケーラブルかつ使いやすい AI/ATP サービスを提供すること。
• 既存の証明に基づいてトレーニングされた前提選択と ATP を活用することで、HOL Light の開発における予想の自動証明を実現すること。
• パブリックなオンラインアクセスとローカルインストールの両方をサポートし、プライベート、オフライン、またはハイパフォーマンスコンピューティング環境での利用を可能にすること。
• Emacs、Web、コマンドラインインターフェースを通じて、インタラクティブ定理証明ワークフローへの統合を可能にすること。
• ライブラリの進化や将来的な拡張をサポートするため、バージョン管理およびプライベート開発の安全な取り扱いを可能にすること。

提案手法

• システムは、HOL Light の形式的定式化を、アンタイプド一階論理、多相的型付き一階論理、型付き高階論理といった ATP と互換性のある形式に変換する。
• Flyspeck、Multivariate Analysis、Complex Analysis などの既存のライブラリからの証明に基づいてトレーニングされた、複数の前提選択技術を採用する。
• 各クエリに対して、7 種類の異なる AI/ATP 結合と 4 つの意思決定手順を並列で実行し、カバー範囲とパフォーマンスを最大化する。
• コンテンツエンコーディングとチェックポイント技術を用いて、プロジェクトのバージョン間で事前に計算された知識を効率的に再利用する。
• Web インターフェースを介したオンラインアクセスと、ユーザー固有の開発に合わせたカスタマイズ可能なトレーニングが可能なローカルインストールの両方をサポートする。
• 過去の成功／失敗から学習する戦略スケジューリングを活用することで、時間の経過とともに ATP のパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルでオンラインの AI/ATP サービスは、大規模な HOL Light 開発における手動での補題選択や証明構築の必要性を顕著に低減できるか？
• RQ2 前提選択、ATP 形式への翻訳、および複数の AI/ATP システムの並列実行の組み合わせは、形式的定理の証明においてどの程度効果的か？
• RQ3 Flyspeck のような大規模なコーパスでトレーニングされた AI/ATP メソッドは、関連する数学ライブラリにおける新しい予想へどの程度一般化できるか？
• RQ4 低遅延応答を実現するために、複数のライブラリとバージョンをサポートするように AI/ATP サービスをスケーリングする際のアーキテクチャ的・パフォーマンス的トレードオフは何か？
• RQ5 共有サービス上でユーザーがプライベートな形式的開発をアップロードおよび更新できるようにする場合、プライバシーとセキュリティをどのように確保できるか？

主な発見

• システムは、14 コアのワークステーションで 30 秒間で Flyspeck の定理を 47% の成功率で自動的に証明できており、最も強力な AI/ATP 結合を用いている。
• オンライン版は 48 コアのサーバーで稼働し、1 回のクエリあたり最大 70 回の異なる AI/ATP アプローチを、7 組の組み合わせと 4 つの意思決定手順の並列実行により実行している。
• サービスはパブリックなオンラインアクセスとローカルインストールの両方をサポートしており、オフライン利用やプライベート開発に適したカスタマイズ可能なトレーニングが可能である。
• コンテンツエンコーディングとチェックポイント技術により、プロジェクトの更新時に再計算を効率的に再利用でき、冗長な計算を削減している。
• 戦略スケジューリングと過去の結果からの学習により、ATP のパフォーマンスが顕著に向上しており、特に時間制限が長い場合に顕著である。
• 本アプローチは、非形式的数学的テキストとの統合の可能性を示しており、将来的なシステムにおいて科学的自然言語のより深い意味解析への道筋を示している。