[論文レビュー] Learning-Assisted Automated Reasoning with Flyspeck

Cezary Kaliszyk, Josef Urban|arXiv (Cornell University)|Nov 29, 2012

Mathematics, Computing, and Information Processing被引用数 15

ひとこと要約

本論文は、Flyspeck形式数学ライブラリと外部の自動定理証明系（ATP）およびFlyspeck証明で訓練された機械学習前提選択モデルを統合した学習支援型自動推論システムを提示する。HOL Light論理をATP互換形式に変換し、学習されたアドバイザーを用いることで、14-CPUワークステーションで30秒間の実時間内に14,185個の定理の39％を自動的に証明した。これは大規模理論における自動推論分野における顕著な前進を示している。

ABSTRACT

The considerable mathematical knowledge encoded by the Flyspeck project is combined with external automated theorem provers (ATPs) and machine-learning premise selection methods trained on the proofs, producing an AI system capable of answering a wide range of mathematical queries automatically. The performance of this architecture is evaluated in a bootstrapping scenario emulating the development of Flyspeck from axioms to the last theorem, each time using only the previous theorems and proofs. It is shown that 39% of the 14185 theorems could be proved in a push-button mode (without any high-level advice and user interaction) in 30 seconds of real time on a fourteen-CPU workstation. The necessary work involves: (i) an implementation of sound translations of the HOL Light logic to ATP formalisms: untyped first-order, polymorphic typed first-order, and typed higher-order, (ii) export of the dependency information from HOL Light and ATP proofs for the machine learners, and (iii) choice of suitable representations and methods for learning from previous proofs, and their integration as advisors with HOL Light. This work is described and discussed here, and an initial analysis of the body of proofs that were found fully automatically is provided.

研究の動機と目的

• 外部のATPおよび機械学習を用いて、大規模で形式化されたFlyspeckライブラリにおける数学的定理の完全自動証明を可能にすること。
• HOL Lightの高階論理と一階ATPの間を、一階および型付き形式にまで正確かつ損失のない翻訳を通じて橋渡しすること。
• Flyspeck証明の依存関係に基づいて前提選択モデルを訓練し、ATPに関連知識をガイドすること。
• Flyspeckの公理から最終定理へと段階的に発展させていくのを模倣するブートストラップ評価シナリオにおいて、システムを評価すること。
• 最小限の人的介入で、スケーラブルでAI補助型の形式的数学が実現可能であることを示すこと。

提案手法

• HOL Light証明を、型なし一階、多相的型付き一階、型付き高階ATP形式に変換し、相互運用性を実現すること。
• HOL LightおよびATPから依存関係と証明情報をエクスポートし、前提選択のための機械学習モデルを訓練すること。
• 過去の証明パターンに基づいてATPに関連する前提を提案する学習ベースのアドバイザーを設計・統合すること。
• 大規模な評価においてパフォーマンスを最適化するために、435種類のATPおよび前提選択器の組み合わせを活用すること。
• 各定理が、以前に証明された定理およびその依存関係のみを用いて証明されるブートストラップ評価プロトコルを採用すること。
• 戦略スケジューリングおよび最適化されたATP設定（例：EおよびVampire）を適用し、証明探索の効率を向上させること。

実験結果

リサーチクエスチョン

• RQ1 学習支援型システムは、人的介入なしにFlyspeckライブラリの多数の定理を証明できるか？
• RQ2 機械学習は、大規模な形式的ライブラリからATPに適切な前提を選択するのにどの程度有効か？
• RQ3 ATPと学習手法の統合は、Flyspeckのような現実世界の大規模理論形式化において、どの程度のパフォーマンスを発揮するか？
• RQ4 以前の結果のみが利用可能なブートストラップシナリオにおいて、このシステムはどの程度スケーラブルか？
• RQ5 このようなシステムは、形式的数学開発の実用的かつスケーラブルなアシスタントとして機能できるか？

主な発見

• システムは、14,185個の定理のうち39％を、30秒間の実時間内に完全自動で、ボタン1つで証明に成功した。
• 435種類の異なるATPおよび前提選択器の組み合わせを用いることで、このパフォーマンスが達成された。これにより、多様な手法の価値が示された。
• 39％の成功確率は、過去のより小さなベンチマーク（例：30秒制限でMPTP2078では24.1％）の結果を上回っており、スケーラビリティが裏付けられた。
• 最良の単一手法よりも顕著に優れており、大規模理論推論においてアンサンブルの組み合わせが不可欠であることが示された。
• ATPと学習されたアドバイザーの統合により、証明自動化が著しく向上し、人的熟練の依存度が低下した。
• 結果から、AI補助型形式的数学は、コラボラティブで世界規模の知識ベースにまでスケーリング可能である可能性が示唆された。