[論文レビュー] Towards Smart Proof Search for Isabelle

Yutaka Nagashima|arXiv (Cornell University)|Jan 10, 2017

Mathematics, Computing, and Information Processing参考文献 1被引用数 3

ひとこと要約

この論文は、Isabelleにおけるスマートでベストファーストの証明探索を可能にするため、大規模な証明コーパスにおけるランタイム事後評価および強化学習と、メタレベルのヒューリスティクスを組み合わせた確率的記述的証明戦略言語（PDPSL）を提案する。既存のPSL や Sledgehammer のようなシステムにおけるブルートフォースなタクティクスの組み合わせの限界を乗り越えるために、確率的重みと学習された進行度測度によって誘導される動的で情報に基づいた探索プロセスとしてのタクティクス選択をモデル化することを目的としている。

ABSTRACT

Despite the recent progress in automatic theorem provers, proof engineers are still suffering from the lack of powerful proof automation. In this position paper we first report our proof strategy language based on a meta-tool approach. Then, we propose an AI-based approach to drastically improve proof automation for Isabelle, while identifying three major challenges we plan to address for this objective.

研究の動機と目的

• ハンマースタイルのツールの進展にもかかわらず、相互作用的定理証明における柔軟でスケーラブルな証明自動化の欠如に対処すること。
• Isabelleのタクティクス言語の手続き的剛性を克服し、記述的でメタレベルの戦略記述言語を導入すること。
• 事前確率的タクティクス選択と事後的タクティクス成果の評価を組み合わせることで、証明探索の効率を向上させること。
• 大規模な証明コーパス（例：AFP, seL4）を活用して強化学習を実施し、手作業で作成された証明ヒューリスティクスを最適化すること。
• 具体的な証明義務に過剰適合しないように、メタ情報に焦点を当てることで、学習済み戦略の過剰適合を低減すること。

提案手法

• 具体的なタクティクスではなく、証明目標およびIsabelleライブラリ構造に関するメタ情報記述を行う確率的記述的証明戦略言語（PDPSL）を設計すること。
• ノードが証明状態を表し、エッジが動的に重み付けされたタクティクス適用を表す証明探索グラフにおけるベストファーストサーチを実装すること。
• 目標の単純化や構造的変化などの進行度測度に基づき、ランタイム事後評価を用いてタクティクス適用に重みを割り当てること。
• 複数の進行度測度を統合して探索ヒューリスティクスとし、各ステップで最も有望なタクティクスを選択するように誘導すること。
• 大規模な証明コーパス（例：AFP, seL4）を用いて強化学習を適用し、特定の証明パターンに過剰適合しないように、手作業で作成されたPDPSL戦略を自動で最適化すること。
• 具体的な目標項ではなく、再帰関数、定義メカニズムなどのメタレベル情報に限定することで、PDPSLの堅牢性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 特定の目標に対して具体的なタクティクスをハードコードせずに、証明探索をガイドする記述的証明戦略言語をどのように設計できるか？
• RQ2 証明義務のどのメタレベル特徴が、有望なタクティクス適用の予測に信頼性を持って使えるか？
• RQ3 どのタクティクス適用の事後的測度が、証明探索における進行を効果的に示し、ベストファースト戦略を誘導できるか？
• RQ4 証明コーパスに強化学習を適用することで、手作業で作成された証明ヒューリスティクスを過剰適合させずに改善できるか？
• RQ5 事前の確率的期待と事後の評価を組み合わせることで、現在のブルートフォースアプローチよりも効率的な証明探索が可能になるか？

主な発見

• PDPSLは、メタレベル特徴と事後評価に基づいて動的にタクティクス適用の重みを割り当てることで、ベストファースト証明探索戦略を可能にする。
• 本アプローチは、戦略作成と低レベルのタクティクス実装を分離することで、Sledgehammerなどのサブツールの独立した改善を可能にする。
• タクティクス成果の事後評価により、実際の証明進行に基づいて探索ヒューリスティクスをランタイムで最適化するメカニズムが提供される。
• Archive of Formal Proofs や seL4 といった大規模な証明コーパスは、PDPSL戦略を強化するための強化学習モデルの学習に十分なデータを提供する。
• 具体的な項ではなくメタ情報に限定することで、学習済み戦略における過剰適合のリスクが低減される。
• 本手法により、ブルートフォースなタクティクスの組み合わせから、誘導された情報に基づいた証明空間の探索へと証明探索が移行する。