[論文レビュー] Internal Guidance for Satallax

Michael Färber, Chad E. Brown|arXiv (Cornell University)|May 30, 2016

Logic, programming, and type systems参考文献 1被引用数 5

ひとこと要約

本論文は、モノイド構造を持つラベル出現を用いて、肯定的および否定的証明例を統合するように拡張されたナイーブベイズ分類を用いた、自動定理証明者（ATP）の内部ガイダンス手法を提案する。Satallaxに実装されたこの手法は、同じ時間予算内で問題解決率を26%向上させ、失敗した証明試行からの学習がATPの性能向上に寄与することを示している。

ABSTRACT

We propose a new internal guidance method for automated theorem provers based on the given-clause algorithm. Our method influences the choice of unprocessed clauses using positive and negative examples from previous proofs. To this end, we present an efficient scheme for Naive Bayesian classification by generalising label occurrences to types with monoid structure. This makes it possible to extend existing fast classifiers, which consider only positive examples, with negative ones. We implement the method in the higher-order logic prover Satallax, where we modify the delay with which propositions are processed. We evaluated our method on a simply-typed higher-order logic version of the Flyspeck project, where it solves 26% more problems than Satallax without internal guidance.

研究の動機と目的

• 過去の証明試行、特に成功および失敗した試行から学習することで、自動定理証明者（ATP）の性能を向上させること。
• 従来、肯定的例に限定されていたナイーブベイズ分類器を、モノイド構造を持つ型にラベル出現を一般化することで拡張すること。
• 高階論理ATPであるSatallaxに内部ガイダンスを実装し、オフラインおよびオンライン学習の両状況で評価すること。
• 特に、肯定的トレーニングデータに依存する手法と比較して、否定的例の影響が内部ガイダンスに与える影響を測定すること。
• Flyspeckプロジェクトのような大規模な証明ベンチマークにおいて、この手法のスケーラビリティおよび効率性を評価すること。

提案手法

• ラベル出現をモノイド構造を持つ型としてモデル化することで、ナイーブベイズ分類を一般化し、肯定的および否定的例の両方を効率的に処理できるようにする。
• 修正された関連度関数を用いる：r(l,F) = log P(l) + Σ_{f∈F} log(idf(f)) × log P(f|l)，ここで特徴Fはプローバー状態を表し、ラベルlは処理された節を表す。
• 分類器は、成功した実行からの証明トレースを用いて学習され、特定のプローバー状態においてどの節が有用または有害であったかを捉える。
• 内部ガイダンスは、現在のプローバー状態に対する節の予測された関連度に基づき、命題の処理遅延を調整することで適用される。
• オフライン学習（過去の証明で学習し、再実行）およびオンライン学習（証明が試行される度に段階的に学習）の両方の設定で、このアプローチを評価する。
• 本手法はSatallax 2.5に実装されており、トレーニングデータ収集のための一貫性のある証明関連用語の取得を保証する戦略が用いられている。

実験結果

リサーチクエスチョン

• RQ1 否定的証明例を内部ガイダンスに組み込むことで、肯定的例のみを用いる手法よりもATPの性能が向上するか？
• RQ2 ラベル出現のモノイドベースの一般化は、肯定的および否定的トレーニングデータを効率的に扱うベイズ分類にどの程度有効か？
• RQ3 学習されたプローバー状態と節の関連度に基づく内部ガイダンスは、高階論理ATPにおける問題解決率をどの程度向上させるか？
• RQ4 同じ計算予算を使用した場合、ガイダンス付きATPの性能は、標準的なタイムアウトと比較してどの程度優れているか？
• RQ5 大規模なベンチマーク（Flyspeckなど）において、段階的なトレーニングデータを用いたオンライン学習が、一貫した性能向上をもたらすか？

主な発見

• 1秒のタイムアウト内に、内部ガイダンス付きのSatallaxは、ベースラインと比較して26%多くの問題を解決し、2717問の未ガイダンス版対比で3428問を解決した。
• 最も効果的な後処理戦略である、推論フィルタリングによる節の優先度推定により、1秒間で未ガイダンス版が解けなかった786問の追加問題が解決された。
• オンライン学習設定では、内部ガイダンス付きのSatallaxが1秒間で3374問を解決し、未ガイダンスベースラインの24%向上を達成した。
• 48コアサーバー上で30秒のタイムアウトを設定した場合、ガイダンス付きバージョンは4028問を解決し、未ガイダンス版の3097問と比較して30%の向上を示した。
• スキーレムフィルタリングを用いて学習した分類器が最も優れた結果を出した。トレーニングプロセスはわずか3秒で完了し、1.8MBのモデルファイルが生成された。
• 単純なタイムアウト倍増手法よりも本手法が優れており、2倍の時間（2秒）を割り当てた未ガイダンス版でさえ、1秒間でガイダンス付きバージョンが解決した3428問に満たない（2845問）結果となった。