[論文レビュー] Learning Robust Search Strategies Using a Bandit-Based Approach

Wei Xia, Roland H. C. Yap|arXiv (Cornell University)|May 10, 2018

Scheduling and Timetabling Solutions被引用数 8

ひとこと要約

本稿では、制約充足問題（CSP）の解法中に複数の変数順序付けヒューリスティクスの間で自動的に選択を行う、バンドイットベースのオンライン学習手法を提案する。ヒューリスティクス選択をマルチアームバンディット問題としてモデル化し、探索失敗からの報酬フィードバックを用いてUCB1およびトムソンサンプリングを適用することで、問題構造に動的に適応し、多様なCSPベンチマークにおいて個々のヒューリスティクスよりもよりロバストでしばしば高速な性能を達成する。

ABSTRACT

Effective solving of constraint problems often requires choosing good or specific search heuristics. However, choosing or designing a good search heuristic is non-trivial and is often a manual process. In this paper, rather than manually choosing/designing search heuristics, we propose the use of bandit-based learning techniques to automatically select search heuristics. Our approach is online where the solver learns and selects from a set of heuristics during search. The goal is to obtain automatic search heuristics which give robust performance. Preliminary experiments show that our adaptive technique is more robust than the original search heuristics. It can also outperform the original heuristics.

研究の動機と目的

• 制約充足問題（CSP）のための効果的な探索ヒューリスティクスを手動で選定または設計することは、時間のかかる作業であり、問題に依存するため、その課題に対処する。
• 固定された1つのヒューリスティクスに依存するのではなく、探索中に複数の既存のヒューリスティクスから選択するオンラインで適応可能な学習メカニズムを開発する。
• 探索フィードバックをリアルタイムで学習することで、多様なCSP問題インスタンスにわたるソルバのロバスト性と性能を向上させる。
• エキスパートによるチューニングの必要性を低減し、実行中に最適なヒューリスティクス戦略を自動的に同定できるようにする。

提案手法

• 各ヒューリスティクスを「アーム」として選択するマルチアームバンディット（MAB）問題として、変数順序付けヒューリスティクスの選択をモデル化する。
• 探索と活用のバランスを取るために、UCB1およびトムソンサンプリングアルゴリズムを用いて、探索中にヒューリスティクス選択を最適化する。
• 探索の性能に基づいて報酬関数を定義する：ノードでの失敗は、その失敗に至らしめたヒューリスティクス選択に対して報酬として扱い、将来の選択をガイドする。
• 学習のためのオフライン訓練やラベル付き例は不要であり、解決中にオンラインでフィードバックを収集するため、リアルタイムの適応に適している。
• CPソルバ内にMABベースのヒューリスティクス選択モジュールを統合し、各探索ノードで候補ヒューリスティクス（例：ddeg/dom, wdeg/dom, activity, impact, corr）を動的に切り替える。
• 非二値CSPベンチマーク上で本手法を評価し、個々のヒューリスティクスおよびランダムベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 バンドイットベースのオンライン学習アプローチは、多様なCSPインスタンスにわたるロバスト性を向上させるために、動的に変数順序付けヒューリスティクスを選択できるか？
• RQ2 MABベースのヒューリスティクス選択の性能は、個々のヒューリスティクスと比較して、問題ファミリーにわたる解法時間とばらつきの面でどう異なるか？
• RQ3 適応的選択メカニズムは、指数的性能劣化を引き起こす悪質なヒューリスティクス選択のリスクを低減できるか？
• RQ4 MABフレームワーク内でのヒューリスティクス使用頻度は、問題解決行動および性能とどのように相関するか？

主な発見

• MABベースのヒューリスティクス（UCB1およびトムソンサンプリング）は、個々のヒューリスティクスと比較して、異なる問題ファミリーにわたる性能のばらつきを顕著に低減し、より高いロバスト性を示した。
• 多くの問題インスタンスにおいて、MABベースの手法は最良の個別ヒューリスティクスを上回り、より短い解法時間と少ない探索ノード数を達成した。
• BIBDインスタンスでは、アクティビティヒューリスティクスは個別に評価した際に最も性能が悪かったが、UCB1およびトムソンサンプリングでは最も頻繁に選択された。これは、適応的学習がそのヒューリスティクスの文脈に依存する有用性を特定したことを示している。
• 順次PSS（sPSS）ベースラインはMAB手法に比べて著しく遅く、rand3-20-20-1では合計73Kノードに対して507Kノードを探索した。これは、すべての部分問題を逐次的に解く高コストなオーバーヘッドに起因する。
• ruler-34-9-a4ではsPSSの総実行時間は116.8秒であったのに対し、MAB-UCB1は6.9秒であった。これは、十分な並列性がないとsPSSは効率に欠けることを示している。
• sPSSの性能は分解戦略に極めて敏感であり、MABベースのアプローチと比較して低いロバスト性を示していることがわかった。