[論文レビュー] Tight Regret Bounds for Bayesian Optimization in One Dimension

Jonathan Scarlett|arXiv (Cornell University)|May 30, 2018

Advanced Bandit Algorithms Research参考文献 24被引用数 8

ひとこと要約

本稿は、ガウス過程の事前分布とガウスノイズを仮定した1次元のベイズ最適化に対して、タイトなレグレットバウンドを確立する。弱いカーネルの仮定のもとで、最適な累積的レグレットが $Ω(\sqrt{T})$ と $O(\sqrt{T\log T})$ のスケーリングを示す。既存の上界が二乗指数関数的カーネルではほぼ最適であることが示され、一方で $\nu > 2$ のマテルンカーネルでは部分的に最適でないことが判明し、ノイズありベイズ最適化の理論的理解における重要なギャップが解消された。

ABSTRACT

We consider the problem of Bayesian optimization (BO) in one dimension, under a Gaussian process prior and Gaussian sampling noise. We provide a theoretical analysis showing that, under fairly mild technical assumptions on the kernel, the best possible cumulative regret up to time $T$ behaves as $Ω(\sqrt{T})$ and $O(\sqrt{T\log T})$. This gives a tight characterization up to a $\sqrt{\log T}$ factor, and includes the first non-trivial lower bound for noisy BO. Our assumptions are satisfied, for example, by the squared exponential and Matérn-$ν$ kernels, with the latter requiring $ν> 2$. Our results certify the near-optimality of existing bounds (Srinivas {\em et al.}, 2009) for the SE kernel, while proving them to be strictly suboptimal for the Matérn kernel with $ν> 2$.

研究の動機と目的

• 1次元におけるアルゴリズムに依存しない累積的レグレットの理論的ギャップを埋める。
• 情報ゲインに基づく既存の上界が最適なスケーリングに近いかどうかを評価する。
• カーネルに関する弱い技術的仮定のもとで、ノイズありベイズ最適化の根本的限界を特定する。
• レグレットスケーリングの観点から、ベイズ最適化と非ベイズ的類似手法との相対的な難易度を明確にする。

提案手法

• 適応的サンプリングを伴う二値仮説検定にFanoの不等式を適用し、累積的レグレットの下界を導出する。
• 不確実性をモデル化し、カーネルの滑らかさを活用するために、局所的摂動を持つ2つの競合関数を構築する。
• 1次元におけるランダムシフトを用いてミニマックス推定問題を構成し、カーネルの性質を活用して相互情報量の上限を求める。
• Markovの不等式と集中不等式を用いて、レグレットと真の関数を誤識別する確率を関連付ける。
• 上界と下界を組み合わせることで、$\sqrt{\log T}$ 要素の誤差を除きタイトな境界を示し、最大情報ゲイン $\gamma_T$ を主要な量として用いる。
• 下界の妥当性を検証するため、与えられた仮定のもとで関数値とノイズありサンプル間の相互情報量が $O(\sqrt{T})$ のスケーリングを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程の事前分布とガウスノイズを仮定した1次元のベイズ最適化において、累積的レグレットの根本的下界は何か？
• RQ2 情報ゲインに基づく既存の上界は、異なるカーネルクラスにおいて最適なレグレットスケーリングと比べてどの程度か？
• RQ3 二乗指数関数的カーネルの標準的な上界は、ほぼ最適であるか、それとも改善可能か？
• RQ4 ノイズありベイズ最適化の設定は、非ベイズ的RKHS類似手法と比べて、証明可能に簡単か、難しいか？
• RQ5 1次元のレグレットバウンドに用いられた技術は、$T$ と $d$ にタイトな結合依存性を持つ高次元に拡張可能か？

主な発見

• カーネルに関する弱い技術的仮定のもとで、1次元におけるベイズ最適化の最良の累積的レグレットは $\Omega(\sqrt{T})$ のスケーリングを示す。
• 上界として $O(\sqrt{T\log T})$ が確立され、下界と $\sqrt{\log T}$ 要素の差異を除き一致するため、タイトな特徴付けが得られた。
• 二乗指数関数的カーネルでは、Srinivasら（2010）が提示した既存の上界がほぼ最適であることが示された。
• マテルン-\nu カーネルで $\nu > 2$ の場合、既存の上界は厳密に部分的に最適でないことが判明し、改善の余地があることが示された。
• 下界はFanoの不等式と局所的摂動を持つ注意深く構築された2つの関数を用いて導出され、適応的サンプリングの限界を示した。
• 結果から、情報ゲイン $\gamma_T$ が常に最適なレグレットスケーリングを捉えるのに十分でないことが示唆され、特に滑らかでないカーネルにおいて顕著である。