[論文レビュー] Bayesian Optimization under Heavy-tailed Payoffs

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|Sep 16, 2019

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿は、サブガウスノイズの仮定が成り立たない、重たい尾を持つ報酬分布を示すブラックボックス関数に対する、新しいベイジアン最適化フレームワークを提案する。報酬の打ち切りと、四角法フーリエ特徴量またはニーメンス法によるカーネル近似を組み合わせることで、提案されたATA-GP-UCBアルゴリズムは、有界な$(1+\alpha)$-次のモーメントのもとで、$\tilde{O}(\gamma_T T^{1/(1+\alpha)})$の最適なレジレットスケーリングを達成する。これは、平方指数カーネルおよびマターンカーネルの根本的下界と一致する。

ABSTRACT

We consider black box optimization of an unknown function in the nonparametric Gaussian process setting when the noise in the observed function values can be heavy tailed. This is in contrast to existing literature that typically assumes sub-Gaussian noise distributions for queries. Under the assumption that the unknown function belongs to the Reproducing Kernel Hilbert Space (RKHS) induced by a kernel, we first show that an adaptation of the well-known GP-UCB algorithm with reward truncation enjoys sublinear $ ilde{O}(T^{\frac{2 + α}{2(1+α)}})$ regret even with only the $(1+α)$-th moments, $α\in (0,1]$, of the reward distribution being bounded ($ ilde{O}$ hides logarithmic factors). However, for the common squared exponential (SE) and Matérn kernels, this is seen to be significantly larger than a fundamental $Ω(T^{\frac{1}{1+α}})$ lower bound on regret. We resolve this gap by developing novel Bayesian optimization algorithms, based on kernel approximation techniques, with regret bounds matching the lower bound in order for the SE kernel. We numerically benchmark the algorithms on environments based on both synthetic models and real-world data sets.

研究の動機と目的

• ファイナンス、ネットワーク遅延、複雑系など、実世界の応用で一般的に見られる重たい尾を持つ報酬分布において、ロバストなベイジアン最適化手法の欠如に対処する。
• サブガウスノイズを仮定する既存のGP-UCBの変種には限界があり、$\alpha \in (0,1]$の範囲で$(1+\alpha)$-次のモーメントしか持たない報酬分布では失敗することを克服する。
• 有限次元のカーネル近似とロバストな統計推定を活用することで、重たい尾を持つノイズのもとで最適なレジレットスケーリングを達成する新しいアルゴリズムを開発する。
• 平方指数カーネルやマターンカーネルのような滑らかなカーネルに対して、既存の非最適なレジレット境界と、根本的下界$\Omega(T^{1/(1+\alpha)})$とのギャップを埋める。
• 重たい尾を持つノイズ条件下で、合成データおよび実世界のデータセットに対して、提案手法の実用的有効性を示す。

提案手法

• 報酬の打ち切りステップを導入することで、GP-UCBアルゴリズムを変更し、$(1+\alpha)$-次のモーメントの仮定のもとで重たい尾を持つ観測値に対してもロバスト性を確保する。
• 特に四角法フーリエ特徴量およびニーメンス法によるカーネル近似を用いて、無限次元のGPを有限次元の特徴空間に射影し、計算を効率化する。
• 近似された特徴空間における打ち切り観測値を用いて、修正された後方平均および分散推定値$\tilde{\mu}_t(x)$および$\tilde{\sigma}_t(x)$を構築する。
• 時間$t$に応じて$\sqrt{\gamma_t \ln T}$のスケーリングを示す信頼区間$\beta_t$を定義し、打ち切り実現平均推定器を介して重たい尾へのロバスト性を組み込む。
• 重たい尾を持つ分布に特化した集中不等式を用いて、推定誤差$|f(x) - \tilde{\mu}_t(x)|$の高確率境界を確立する。
• 後方分散の減衰と信頼区間の組み合わせにより、$\gamma_T$によるカーネル行列のトレースを活用して、累積的レジレット境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 GP-UCBのような既存のベイジアン最適化アルゴリズムは、報酬分布の$(1+\alpha)$-次のモーメントの仮定のもとで、サブ線形のレジレットを維持できるか？
• RQ2 滑らかなカーネル（例：平方指数カーネル、マターンカーネル）を用いたベイジアン最適化において、重たい尾を持つ報酬の下で、根本的レジレットの限界は何か？
• RQ3 カーネル近似技術を用いることで、重たい尾を持つノイズのもとで最適なレジレットスケーリングを達成するベイジアン最適化アルゴリズムを設計できるか？
• RQ4 重たい尾を持つ報酬環境において、提案されたアルゴリズムの性能は、標準的なGP-UCBと比べてどうか？
• RQ5 重たい尾を持つ設定において、異なるカーネル近似法（例：ニーメンス法対四角法フーリエ特徴量）が、レジレットと計算効率に与える影響は何か？

主な発見

• 報酬の打ち切りを施した変更版GP-UCBは、$\tilde{O}(\gamma_T T^{(2+\alpha)/(2(1+\alpha))})$のレジレット境界を達成するが、これは平方指数カーネルおよびマターンカーネルでは非最適である。
• 四角法フーリエ特徴量またはニーメンス法によるカーネル近似を用いた、提案されたATA-GP-UCBアルゴリズムは、$\tilde{O}(\gamma_T T^{1/(1+\alpha)})$のレジレット境界を達成し、平方指数カーネルの根本的下界$\Omega(T^{1/(1+\alpha)})$と一致する。
• このレジレット境界は、報酬分布が有界な$(1+\alpha)$-次のモーメントを持つという仮定のもとで導出されており、$\alpha \in (0,1]$である。この仮定により、実世界の重たい尾を持つデータに適用可能である。
• 合成データおよび実世界のデータセットにおける数値実験により、提案手法が重たい尾を持つ環境で標準的なGP-UCBを上回ることを確認した。これにより、ロバスト性と実用的有用性が裏付けられた。
• 分析により、カーネル近似法の選択（ニーメンス法対四角法フーリエ特徴量）は、漸近的レジレットレートに影響しないが、計算効率と実証的性能に影響を与えることが分かった。
• 理論的保証は、$1 - \delta$の高確率で確立されており、時間にわたる和集合を用いたボトムアップ境界と、重たい尾統計に特化したロバストな集中不等式が用いられている。