[論文レビュー] Procrastinating with Confidence: Near-Optimal, Anytime, Adaptive Algorithm Configuration

Robert Kleinberg, Kevin Leyton‐Brown+2 more|arXiv (Cornell University)|Feb 14, 2019

Advanced Bandit Algorithms Research参考文献 36被引用数 5

ひとこと要約

本稿では、信頼区間を用いて動的にサンプリングを削減することで、近似的に最適な性能保証を維持する、任意時刻で動作する適応的アルゴリズム設定手法である「信頼度付き構造的先送り」（SPC）を提案する。SPCは、事前に指定された $\epsilon$ および $\delta$ 値を必要とせず、良好な設定の早期収束を可能にすることで、LeapsAndBounds よりも優れた性能を示し、実用的に高品質な解の発見を高速化する。

ABSTRACT

Algorithm configuration methods optimize the performance of a parameterized heuristic algorithm on a given distribution of problem instances. Recent work introduced an algorithm configuration procedure ("Structured Procrastination") that provably achieves near optimal performance with high probability and with nearly minimal runtime in the worst case. It also offers an $ extit{anytime}$ property: it keeps tightening its optimality guarantees the longer it is run. Unfortunately, Structured Procrastination is not $ extit{adaptive}$ to characteristics of the parameterized algorithm: it treats every input like the worst case. Follow-up work ("LeapsAndBounds") achieves adaptivity but trades away the anytime property. This paper introduces a new algorithm, "Structured Procrastination with Confidence", that preserves the near-optimality and anytime properties of Structured Procrastination while adding adaptivity. In particular, the new algorithm will perform dramatically faster in settings where many algorithm configurations perform poorly. We show empirically both that such settings arise frequently in practice and that the anytime property is useful for finding good configurations quickly.

研究の動機と目的

• 構造的先送り（SP）の限界、すなわちすべての設定を最悪ケースとして扱うため、理論的保証は強いものの実用的には遅いという問題に対処すること。
• LeapsAndBounds（LB）の非任意時刻性、すなわち固定された $\epsilon$ および $\delta$ 入力を必要とし、早期終了や無駄な計算リソースの浪費のリスクを伴うという問題に対処すること。
• SP の任意時刻性と LB の適応性を組み合わせた手法を設計し、一部の設定が著しく劣っている場合に高速に収束できるようにすること。
• 任意時刻性が、固定 $\epsilon$/$\delta$ 手法と比較して、高品質な設定をどれだけ早く発見できるかを実験的に検証すること。

提案手法

• SPC は、設定のサンプリングを選択する際に、新たな下位信頼区間（LCB）を用いる。これは、劣悪な性能を示す可能性の高い設定を優先的に選択し、早期に不良な設定を除外することを可能にする。
• アルゴリズムは設定の実行時間に関する信頼区間を維持し、分散と平均推定値に基づいて動的にサンプリングを調整することで、不要な計算を削減する。
• SPC は任意時刻性を備えている：ユーザーはいつでもアルゴリズムを停止しても、高い確率で $(\epsilon,\delta)$-最適な設定を取得できる。
• 問題の構造に適応するように設計されており、分散が大きく平均実行時間が短い設定に対しては少ないサンプル数で済ませ、容易なインスタンスでは全体の実行時間を短縮する。
• 本手法は、$\text{OPT}^\gamma \cdot \frac{1}{\gamma}$ 倍の実行時間で $(\epsilon,\delta)$-劣悪な設定を特定する期待時間に近い性能保証を達成する（対数要因を除く）。
• SPC は、下位信頼区間が既存の最良上界に近い設定を優先する信頼度に基づく探索戦略を採用しており、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 構造的先送りの任意時刻性を維持しつつ、設定の性能特性に適応する能力を有するアルゴリズム設定手法は可能か？
• RQ2 サンプル平均の代わりに下位信頼区間を用いた選択が、劣悪な設定を容易に除外できる実用的状況において収束速度を向上させるか？
• RQ3 SPC の任意時刻性は、固定 $\epsilon$/$\delta$ 手法（例：LeapsAndBounds）と比較して、良い設定をどれだけ早く発見できるか？
• RQ4 多くの設定が最良設定と著しく劣っている状況において、SPC は非適応的または非任意時刻的代替手法と比較して、合計実行時間をどの程度短縮できるか？

主な発見

• SPC は、全設定の上位 1% に属する設定を約 10 CPU 日で発見したが、LeapsAndBounds ではあらゆる $\epsilon$,$\delta$ 組み合わせにおいて少なくとも 100 CPU 日を要した。
• 約 100 CPU 日後、SPC は LeapsAndBounds が発見した最良の解と同等の解を特定し、525 CPU 日にはデータセットの真の最適解に近づくまで改善を続けた。
• LeapsAndBounds では、異なる $\epsilon$,$\delta$ 組み合わせが、同じ設定を返すにもかかわらず著しく異なる実行時間を要し、パrameter のチューニングの難しさを示した。
• SPC の任意時刻性により、$\epsilon$ および $\delta$ を事前に指定せずとも、良好な設定を早期に得ることができ、無駄な計算や早期終了のリスクを回避できた。
• 多くの設定が著しく劣っている状況では、SPC の適応的サンプリング戦略が、非適応的手法（例：SP）と比較して合計実行時間を顕著に短縮した。
• 実験的結果から、SPC の信頼度に基づく選択が、実世界のアルゴリズム設定で一般的な最悪ケースでない状況において、実用的に収束を高速化できることを示した。