[論文レビュー] Restart Strategy Selection using Machine Learning Techniques

Shai Haim, Toby Walsh|ArXiv.org|Jul 29, 2009

Formal Methods in Verification参考文献 18被引用数 6

ひとこと要約

本稿では、充足可能性分類モデルと実行時間予測モデルを統合することで、SATソルバの最適なリスタート戦略を機械学習に基づいて選択するLMPickを提案する。容易に計算可能な特徴量を活用することで、LMPickは多様なベンチマークファミリーにおいて、固定、幾何、Luby、ネストドのリスタート戦略を凌駕し、ランダム戦略選択よりも常に劣らない性能を発揮し、暗号- SAT などの難解なインスタンスにおいて顕著な性能向上を達成する。

ABSTRACT

Restart strategies are an important factor in the performance of conflict-driven Davis Putnam style SAT solvers. Selecting a good restart strategy for a problem instance can enhance the performance of a solver. Inspired by recent success applying machine learning techniques to predict the runtime of SAT solvers, we present a method which uses machine learning to boost solver performance through a smart selection of the restart strategy. Based on easy to compute features, we train both a satisfiability classifier and runtime models. We use these models to choose between restart strategies. We present experimental results comparing this technique with the most commonly used restart strategies. Our results demonstrate that machine learning is effective in improving solver performance.

研究の動機と目的

• 異なるベンチマークファミリーにおいて性能がばらつくリスタート戦略の最適選択という課題に対処すること。
• 機械学習を活用して、与えられた問題インスタンスに最も効果的なリスタート戦略を予測することで、ソルバの性能を向上させること。
• インスタンス固有の特性に適合しない普遍的なリスタート戦略への依存を軽減すること。
• 分類モデルと実行時間予測モデルを組み合わせることで、静的または普遍的な戦略よりも優れた戦略選択が可能になることの実証。

提案手法

• 充足可能性を予測するために、容易に計算可能な特徴量を用いて充足可能性分類器を訓練する。
• 異なるリスタート戦略の性能を、与えられたインスタンスに対して予測する実行時間推定モデルを訓練する。
• 実行時間モデルの予測順位を用いて、候補戦略のパフォルマンスが最良となる戦略 s_b を選択する。
• 選択された戦略 s_b を用いてソルバのリスタート動作をガイドする、パフォルマンスの組み合わせに基づくアプローチを適用する。
• 分類モデルと実行時間モデルの予測を統合する階層的機械学習フレームワークを用いて戦略選択を行う。
• 相対的順位評価を用いて戦略の性能を評価する：選択された戦略 s_b は、他のすべての戦略と比較され、それより優れる戦略の数を基準に評価される。

実験結果

リサーチクエスチョン

• RQ1 機械学習技術は、与えられたSATインスタンスに対して最適なリスタート戦略を効果的に予測でき、普遍的戦略よりもソルバの性能を向上させることができるか？
• RQ2 LMPickの性能は、固定、幾何、Luby、ネストドといった一般的に使用される普遍的リスタート戦略と比較して、さまざまなベンチマークファミリーでどのように異なるか？
• RQ3 充足可能性分類と実行時間予測の組み合わせが、リスタート戦略選択をどの程度向上させるか？
• RQ4 LMPickは、充足可能性分類と実行時間予測モデルの性能が良好であるにもかかわらず、crypto-sat データセットで著しく劣る性能を示すのはなぜか？そのデータセットの構造的特徴がこれにどのように関係するか？

主な発見

• LMPickは、大多数のベンチマークファミリーにおいて、固定、幾何、Luby、ネストドといった一般的に使用される普遍的リスタート戦略を上回り、ランダム戦略選択よりも性能が劣ることはない。
• crypto-unsat データセットでは、LMPickが不充足なインスタンスについて平均して37.05%の代替戦略を上回る戦略を選択しており、優れた性能を示している。
• crypto-sat データセットでは、LMPickが平均して32.24%の代替戦略を上回る戦略を選択するが、他のデータセットと比較して性能が劣っている。これは、戦略固有の解法可能性が高いためである。
• crypto-sat での性能格差は、多くのインスタンスが僅か数個の戦略でのみ解けることによるものであり、非最適な選択がタイムアウトを引き起こす可能性が非常に高い。
• 選択された戦略が上位2位以内にあれば、すべてのデータセットで成功確率は類似しているが、crypto-sat では3番目や4番目の最良戦略を選択した場合、性能が急激に低下する。
• 結果から、予測戦略の相対的順位が絶対的精度よりも重要であることが確認され、LMPickにおける順位ベースの選択手法の有効性が裏付けられた。