[論文レビュー] Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

Niranjan Srinivas, Andreas Krause+2 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Dec 21, 2009

Gaussian Processes and Bayesian Inference参考文献 32被引用数 1,049

ひとこと要約

この論文は、評価が高価で、ガウス過程から抽出されたと仮定される目的関数を対象としたバンドイット設定におけるベイズ最適化のための上界型アルゴリズムであるGP-UCBを提案する。累積的リグレットを最大情報量獲得量に関連付けることで、一般的な共分散関数に対して次元に強く依存しない性能を達成する、部分線形リグレットバウンドを確立する。

ABSTRACT

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multi-armed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

研究の動機と目的

• 高価でノイズの混入したブラックボックス関数の最適化を、バンドイット設定において解決すること。
• 最小限の仮定の下で、ガウス過程に基づく最適化の理論的リグレットバウンドを導出すること。
• 情報量の獲得を介して、GP最適化と実験設計との関連を確立すること。
• 一般的な共分散関数に対して次元に弱く依存する明示的なリグレットバウンドを提供すること。
• ヒューリスティック手法と比較して、実センサデータ上で本手法の有効性を実証的に検証すること。

提案手法

• GP後方分布の平均と分散から導かれる上界型の信頼区間を最大化する点を次回の評価点として選択するGP-UCBアルゴリズムを提案する。
• 未知の関数を、既知の共分散カーネルを有するゼロ平均ガウス過程の実現とモデル化する。
• リグレットをバウンドするための主要な量として、最適点と評価済み点の系列間の最大情報量獲得量を用いる。
• 共分散演算子の固有値と関連付けることで、情報量獲得とスペクトル的性質の関係を活用し、リグレットバウンドを導出する。
• 代表的なカーネル（例：平方指数カーネル、Matérnカーネル）にこのバウンドを適用し、明示的な部分線形リグレットレートを導出する。
• 実センサデータ上でアルゴリズムを検証し、ヒューリスティックなGP最適化手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが混在し、評価が高価な関数に対して、バンドイット設定におけるガウス過程最適化の理論的リグレットバウンドを導出可能か？
• RQ2 最適点と評価の系列間の情報量獲得は、累積的リグレットとどのように関連するか？
• RQ3 一般的な共分散関数に対して、入力空間の次元に依存するリグレットバウンドの依存度は何か？
• RQ4 関数の滑らかさや構造に関する強い仮定なしに、GP-UCBで部分線形リグレットを達成可能か？
• RQ5 実世界の応用において、GP-UCBはヒューリスティックなGP最適化手法と比較してどのように性能を示すか？

主な発見

• 本論文は、バンドイット設定におけるGPベース最適化のための最初の部分線形リグレットバウンドを確立し、GP-UCBがノーリグレット性能を達成することを証明した。
• リグレットは、最適点に関する不確実性の低減を定量化する最大情報量獲得量の観点からバウンドされている。
• 平方指数カーネルの場合、T回の評価においてリグレットバウンドはO(√(T log T))に比例し、特定の状況では次元に依存しない。
• 滑らかさパrameter ν を持つMatérnカーネルの場合、リグレットバウンドはO(T^(1/2 + d/(2ν + d)))であり、次元dに対して弱い依存性を示す。
• 実センサデータにおける実証的結果から、GP-UCBは最適値への収束において、ヒューリスティックなGP最適化戦略を上回ることを示した。
• 理論的枠組みにより、情報理論的量を介してGP最適化と実験設計との間の新しい関連が確立された。