[論文レビュー] LeapsAndBounds: A Method for Approximately Optimal Algorithm Configuration

Gellért Weisz, András György+1 more|arXiv (Cornell University)|Jul 2, 2018

Machine Learning and Data Classification参考文献 5被引用数 8

ひとこと要約

LeapsAndBounds は、経験的ベルヌーイ停止を用いて、実行時間の動的配分を実現する近似的最適なアルゴリズム設定のための新しいアルゴリズムである。構造的怠惰法よりもタイトな最悪ケース実行時間の上限を達成するとともに、リスタートが可能である場合に特に顕著に合計実行時間を短縮する。

ABSTRACT

We consider the problem of configuring general-purpose solvers to run efficiently on problem instances drawn from an unknown distribution. The goal of the configurator is to find a configuration that runs fast on average on most instances, and do so with the least amount of total work. It can run a chosen solver on a random instance until the solver finishes or a timeout is reached. We propose LeapsAndBounds, an algorithm that tests configurations on randomly selected problem instances for longer and longer time. We prove that the capped expected runtime of the configuration returned by LeapsAndBounds is close to the optimal expected runtime, while our algorithm's running time is near-optimal. Our results show that LeapsAndBounds is more efficient than the recent algorithm of Kleinberg et al. (2017), which, to our knowledge, is the only other algorithm configuration method with non-trivial theoretical guarantees. Experimental results on configuring a public SAT solver on a new benchmark dataset also stand witness to the superiority of our method.

研究の動機と目的

• 未知の分布から抽出された問題インスタンスに対して、近似的最適なソルバ設定を見つけるという課題に対処すること。
• 最適に近い期待実行時間を持つ設定を返すことを保証しつつ、最良の設定を探索するための合計時間の最小化。
• 選択された設定の品質と、探索プロセスの合計実行時間の両面で理論的保証を提供すること。
• 理論的最悪ケースの上限と実用的効率の両面で、構造的怠惰法などの既存手法を上回ること。

提案手法

• LeapsAndBounds は、$ \kappa_0 $ をベース実行時間として、段階的に増加する時間制限を設定し、ランダムに抽出された問題インスタンスに対して設定をテストする。
• 経験的ベルヌーイ停止を用いて、推定平均実行時間に対する十分な信頼性が得られた段階で、実行時間の測定を早期に終了する。
• アルゴリズムはフェーズを経て進行し、各フェーズで時間予算 $ \theta_k $ を倍増させる。各設定は、フェーズごとの予算内で複数のインスタンスに対してテストされる。
• 設定の実行時間に関する信頼区間を維持し、遅い設定は早期に除外しながら、速い設定はさらなる評価に残す。
• 分散推定に基づいて、各設定とインスタンスあたりの実行回数を動的に調整し、実行時間の分散が小さい設定を優遇する。
• リスタートとリズムの両方のセマンティクスをサポートしており、リジュームが可能である場合、重複計算を減らせるため、性能向上が見られる。

実験結果

リサーチクエスチョン

• RQ1 理論的保証を伴いながら、既存手法よりもタイトな最悪ケース実行時間の上限を達成するアルゴリズムを設計できるか？
• RQ2 経験的ベルヌーイ停止を用いることで、固定時間法やヒューリスティックベースの手法と比較して、設定探索の効率がどの程度向上するか？
• RQ3 アルゴリズムの性能は、インスタンス間での設定実行時間の分散にどの程度依存するか？
• RQ4 特に非悪意的で現実的な設定において、LeapsAndBounds は実用的に構造的怠惰法を上回ることができるか？
• RQ5 リジュームとリスタートの実行時間への影響は何か？また、実装においてこの差をどのように活用できるか？

主な発見

• LeapsAndBounds は、構造的怠惰法よりもタイトな最悪ケース実行時間の上限を達成しており、設定探索の理論的効率が向上している。
• minisat SAT ソルバの設定に関する実験では、LeapsAndBounds はリジュームなしで 933.50 CPU 日、リジュームありで 368.50 CPU 日の合計実行時間にまで短縮した。一方、構造的怠惰法はそれぞれ 1850.46 日と 1169.36 日であった。
• 特に後続フェーズにおいて、経験的ベルヌーイ停止による早期終了のおかげで、LeapsAndBounds は構造的怠惰法よりも著しく短い時間で各設定を実行する。
• LeapsAndBounds は構造的怠惰法と同一の最適設定（898）を返しており、結果の品質は同等であるが、探索プロセスははるかに効率的である。
• リジュームが可能である場合、性能向上が最も顕著に現れ、部分的な結果を再利用することで重複計算を回避する。
• この手法は、最小限の調整オーバーヘッドで複数のプロセッサに効率的に分散可能であり、並列処理に非常に適している。