[論文レビュー] Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining

Emile Contal, Nicolas Vayatis|arXiv (Cornell University)|Feb 16, 2016

Advanced Bandit Algorithms Research参考文献 21被引用数 6

ひとこと要約

本稿では、共分散構造に基づくメトリクスを用いて階層的離散化木を構築する一般化チェイニングを活用することで、連続ドメイン上の確率過程バンディット問題に対する新しいUpper Confidence Bound（UCB）アルゴリズムを提案する。弱い確率的滑らかさ仮定の下で最先端のリグレットバウンドを達成し、ガウス過程に対してタイトな下界を証明することで、非線形汎関数（例えば二次形式）を含む無限次元関数空間へのUCBの適用を拡張する。

ABSTRACT

The paper considers the problem of global optimization in the setup of stochastic process bandits. We introduce an UCB algorithm which builds a cascade of discretization trees based on generic chaining in order to render possible his operability over a continuous domain. The theoretical framework applies to functions under weak probabilistic smoothness assumptions and also extends significantly the spectrum of application of UCB strategies. Moreover generic regret bounds are derived which are then specialized to Gaussian processes indexed on infinite-dimensional spaces as well as to quadratic forms of Gaussian processes. Lower bounds are also proved in the case of Gaussian processes to assess the optimality of the proposed algorithm.

研究の動機と目的

• 既存のUCBアルゴリズムが有限な行動空間を必要とするという制限を克服し、連続ドメインでも動作可能にする。
• バンディット最適化における強い滑らかさ仮定（例えばリプシッツ連続性）を緩和し、確率的滑らかさ条件を導入する。
• ガウス過程の二次形式のような複雑な汎関数へのUCB戦略の適用範囲を拡張する。
• 高確率的リグレットバウンドとガウス過程バンディット問題の下界を理論的に保証する。
• 最適なチェイニング木の構築に二次時間計算量を要する計算効率の良いアルゴリズムを開発する。

提案手法

• 入力空間X上に、共分散構造に基づくメトリクスを用いて、εh-ネットの入れ子構造を構築し、階層的木構造を形成する。
• 深さに応じた自己調整的精錬によって、探索と正確性のバランスを取るために一般化チェイニングを用いて離散化誤差を制御する。
• 木のバランスを維持するためのバックワードプリーニング機構を適用し、深さhにおけるノードの子ノード数がe^{2^h}を超えないように保証する。これは高確率的バウンドにとって不可欠である。
• 反濃度不等式を用いてノードに値を割り当て、改善の可能性が大きい枝を優先するようにプリーニングを誘導する。
• 親ノードからの大偏差確率を定量化するφ(α, Δ, m, u)関数に基づき、ノード値Vh(s)を定義する。
• チェイニングに基づく分散推定から得られる信頼区間と、木ベースのUCB選択を統合し、累積リグレットを最小化する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ連続性のような強い滑らかさ仮定を必要とせずに、UCBアルゴリズムを連続ドメインに拡張できるか？
• RQ2 一般化チェイニングは、確率過程バンディット問題における離散化誤差を制御する階層的離散化にどのように適応可能か？
• RQ3 無限次元空間におけるガウス過程のリグレットを最小化する最適なチェイニング木の深さと構造は何か？
• RQ4 ガウス過程の非線形汎関数（例えば二次形式）に対して、タイトな高確率的リグレットバウンドと下界を導出できるか？
• RQ5 入力空間のメトリクスエントロピーが低くても、提案アルゴリズムが定数要因の意味で最適なリグレット性能を達成できるか？

主な発見

• 弱い確率的滑らかさ仮定の下で、本稿のアルゴリズムは確率過程の分野において最先端のリグレットバウンドを達成し、高確率的保証を有する。
• 本アルゴリズムはO(|X|²)時間で一般化チェイニング木を構築でき、実用的応用において計算可能である。
• 新規のバックワードプリーニング手順により木のバランスが保たれ、高確率的下界の導出が可能となり、先行研究と比べて重要な革新をもたらす。
• 本手法は、確率1−e^{-u}以上でsup_x≻s f(x)−f(s) ≥ c_u sup_x≻s ∑_{i>h} Δ_i(x)2^{i/2}という高確率的下界を証明する。
• 本フレームワークは、ガウス過程の二乗和や楕円体上での非パラメトリック過程といった非自明な汎関数に対しても効果的に対処でき、先行研究で予想された不可能性を解消する。
• 下界の結果から、本アルゴリズムの離散化戦略が、低メトリクスエントロピー空間（例えば楕円体）でさえも定数要因の意味で最適であることが確認される。