[論文レビュー] Machine learning for constraint solver design -- A case study for the alldifferent constraint

Ian P. Gent, Lars Kotthoff+2 more|arXiv (Cornell University)|Aug 25, 2010

Constraint Satisfaction and Optimization参考文献 27被引用数 10

ひとこと要約

この論文では、問題の特徴に基づいてトレーニングされたメタ・クラスファイアを用いて、制約ソルバーにおけるalldifferent制約の最適な実装を自動的に選択する機械学習の応用が行われている。デフォルトの選択を上回る性能を発揮し、ハードなベンチマークにおいて1インスタンスあたり平均5秒の高速化を達成している。特徴計算のオーバーヘッドを考慮しても同様の結果が得られている。

ABSTRACT

Constraint solvers are complex pieces of software which require many design decisions to be made by the implementer based on limited information. These decisions affect the performance of the finished solver significantly. Once a design decision has been made, it cannot easily be reversed, although a different decision may be more appropriate for a particular problem. We investigate using machine learning to make these decisions automatically depending on the problem to solve. We use the alldifferent constraint as a case study. Our system is capable of making non-trivial, multi-level decisions that improve over always making a default choice and can be implemented as part of a general-purpose constraint solver.

研究の動機と目的

• 制約ソルバー実装における複雑な設計意思決定を自動化し、専門家の直感への依存を減らすこと。
• 問題インスタンスの特性に基づいて動的に最良のalldifferent制約実装を選択することで、ソルバーの性能を向上させること。
• 機械学習が多様な問題インスタンスにおいてデフォルトのソルバー設定を上回ることを評価すること。
• 性能に顕著なオーバーヘッドを伴わずに、高速かつ正確な意思決定を可能にするコスト効率の良い特徴を同定すること。

提案手法

• 本システムは、多様な問題インスタンスのデータセットを用いてトレーニングされたメタ・クラスファイアを用い、alldifferent制約の異なる実装の間で選択を行う。
• 特徴は、エッジ密度や変数ドメインの関係性を含む、主なグラフの性質など、問題インスタンスから抽出される。
• 個々のモデルよりも高いロバスト性と性能を実現するために、複数のベース分類器の組み合わせが用いられる。
• 性能評価は、ハードなインスタンスを含むベンチマークセットと、より簡単で高速に解ける問題を含む別のセットの両方で実施される。
• 高精度な分類を維持しつつ、コストの高い特徴を削除することで、特徴計算コストを最小限に抑える。
• システムの評価は、特徴計算のオーバーヘッドを含めたデフォルトのソルバー設定との比較による速度向上を測定することで行われる。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、alldifferent制約の制約ソルバー実装選択を効果的に自動化できるか？
• RQ2 多様な問題インスタンスにおいて、学習されたメタ・クラスファイアの性能はデフォルトのソルバー設定を上回るか？
• RQ3 特徴計算コストが、機械学習アプローチの全体的な性能向上に与える影響は何か？
• RQ4 低コストの特徴の縮小されたセットは、高い分類精度を維持しながら、より迅速な意思決定を可能にするか？
• RQ5 学習されたシステムは、トレーニングセットに含まれない新しい未確認の問題インスタンスに対しても一般化できるか？

主な発見

• 最初のベンチマークセットにおいて、メタ・クラスファイアは特徴計算時間のオーバーヘッドを考慮しても、1インスタンスあたり平均5秒の高速化を達成した。
• 最初のインスタンスセットにおいて、システムはデフォルト実装よりも1インスタンスあたり平均8秒速く問題を解消した。
• コストの高い特徴を削除することで、特徴計算時間を1インスタンスあたり約3秒にまで短縮し、性能の損失は最小限に抑えられた。
• 本システムは、大きな高速化が得られるハードなインスタンスを正しく特定し、単純なケースでは遅延を引き起こさない。
• 結合分類器は、セット内での最良個別分類器とほぼ同等の性能を示し、最悪の個別分類器よりも顕著に優れた性能を発揮した。
• 本システムは強く一般化する能力を示しており、トレーニングセットを超える新しい未知の問題インスタンスに対しても効果的であることが確認された。