[論文レビュー] Gaussian Process Bandits without Regret: An Experimental Design Approach

Niranjan Srinivas, Andreas Krause+2 more|arXiv (Cornell University)|Dec 21, 2009

Advanced Bandit Algorithms Research参考文献 16被引用数 34

ひとこと要約

この論文は、ガウス過程バンディットのための上界信頼に基づくアルゴリズムであるGP-UCBを導入し、最大情報量獲得を介してガウス過程最適化と実験設計を結びつけることで、サブラインアクレグレットバウンドを確立する。一般的な共変動関数に対して、驚くほど弱い次元依存性を示す明示的なレグレットバウンドを導出することで、ガウス過程最適化における長年の未解決問題を解決する。

ABSTRACT

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multi-armed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

研究の動機と目的

• 評価が高価でノイズの多い関数に対するガウス過程バンディットのレグレットバウンドを導出するという未解決問題を解決すること。
• 最大情報量獲得を通じて、ガウス過程最適化と実験設計の理論的関係を確立すること。
• GPバンディットで一般的に用いられる共変動関数に対して明示的なサブラインレグレットバウンドを導出すること。
• 情報理論的量を用いて、上界信頼アルゴリズムであるGP-UCBの性能を分析すること。
• ヒューリスティックな手法と比較して、実センサデータ上でアルゴリズムの有効性を検証すること。

提案手法

• 論文は、ガウス過程事後分布の平均と分散から導かれる上界信頼値に基づいてアクションを選択するGP-UCBというアルゴリズムを提案する。
• 累積レグレットを最大情報量獲得という、実験設計における重要な量でバウンドする。最大情報量獲得は、観測シーケンスから得られる最大情報量を測る。
• 共変動カーネルの作用素スペクトルを用いて最大情報量獲得を分析し、さまざまなカーネルに対して明示的なレグレットバウンドを可能にする。
• 理論的分析により、GPバンディットと最適実験設計を結びつけ、レグレットの最小化が情報量獲得の最大化に対応することを示す。
• 二乗指数関数的およびマテルンカーネルに対して明示的なレグレットバウンドを導出し、入力次元にたいして驚くほど弱い依存性を示す。
• 実センサデータを用いた実験的評価により、GP-UCBをヒューリスティックなGP最適化手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程バンディットの文脈において、GP-UCBの理論的レグレットバウンドは何か？
• RQ2 最大情報量獲得は、GP最適化アルゴリズムの性能とどのように関係するか？
• RQ3 GPバンディットで一般的に用いられる共変動関数に対して、明示的なサブラインレグレットバウンドを導出できるか？
• RQ4 レグレットバウンドは入力空間の次元にどのように依存するか？
• RQ5 GP-UCBは、実世界のデータにおいてヒューリスティックなGP最適化手法と比較して、どのように実験的に性能を発揮するか？

主な発見

• 論文は、最大情報量獲得とレグレットを結びつけることで、GP-UCBのサブラインレグレットバウンドを確立し、長年の未解決問題を解決する。
• 二乗指数関数的およびマテルンカーネルに対して明示的なレグレットバウンドを導出し、入力次元にたいして驚くほど弱い依存性を示す。
• カーネルの作用素スペクトルの情報理論的分析を通じて、GPバンディットと実験設計の関係を形式化する。
• 理論的分析により、GP-UCBが既存のヒューリスティックと同等またはそれ以上の収束速度を達成することが示される。
• 実センサデータにおける実験結果により、GP-UCBが実際の応用において他のヒューリスティックなGP最適化手法を上回ることを示す。
• 導出されたバウンドはタイトであり、GP回帰で一般的に用いられる多様な共変動関数に適用可能である。