[論文レビュー] Regret Bounds for Noise-Free Bayesian Optimization.

Sattar Vakili, Victor Picheny+1 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Bandit Algorithms Research参考文献 22被引用数 7

ひとこと要約

この論文は、ノイズのないベイジアン最適化におけるGP-UCBおよびトムソンサンプリングのタイトなリグレットバウンドを、核関数の完全な知識を必要としない、滑らかさの仮定のもとで確立する。主な貢献は、観測データから逐次的に推定される核パラメータに基づく実用的でデータ駆動のバウンドを導出することであり、実世界の応用への適用性を向上させる。

ABSTRACT

Bayesian optimisation is a powerful method for non-convex black-box optimization in low data regimes. However, the question of establishing tight upper bounds for common algorithms in the noiseless setting remains a largely open question. In this paper, we establish new and tightest bounds for two algorithms, namely GP-UCB and Thompson sampling, under the assumption that the objective function is smooth in terms of having a bounded norm in a Matern RKHS. Importantly, unlike several related works, we do not consider perfect knowledge of the kernel of the Gaussian process emulator used within the Bayesian optimization loop. This allows us to provide results for practical algorithms that sequentially estimate the Gaussian process kernel parameters from the available data.

研究の動機と目的

• ノイズのない設定におけるベイジアン最適化のリグレットバウンドに関する理論的理解のギャップを埋めること。
• ガウス過程モデルにおける核関数の完全な知識を仮定する従来の研究の制限を克服すること。
• 核パラメータが観測データから逐次的に推定される状況において、GP-UCBおよびトムソンサンプリングの実用的リグレットバウンドを導出すること。
• Matern RKHSにおける有界ノルムとして表現される滑らかさ条件の下で、タイトな上界を確立すること。
• 核学習を組み込むことで、実世界のベイジアン最適化アルゴリズムの理論的保証を強化すること。

提案手法

• 分析は、有界ノルムを持つMatern RKHSに属する目的関数を仮定し、滑らかさを保証する。
• この滑らかさ仮定の下で、GP-UCBおよびトムソンサンプリングのリグレットバウンドを導出する。
• ガウス過程の核パラメータは、観測された関数評価値から逐次的に推定され、実用的な実装を反映する。
• 核推定の不確実性を考慮したリグレット分析を行い、核ハイパーパrameterが既知であるという仮定を避ける。
• 集中不等式およびRKHS内でのMaternカーネルの性質を用いて理論的バウンドを導出する。
• ベイジアン推論と非漸近的リグレット解析を組み合わせ、データ依存のタイトなバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 核関数の完全な知識を仮定しないノイズのない設定において、GP-UCBおよびトムソンサンプリングのタイトなリグレットバウンドを確立できるか？
• RQ2 観測データから逐次的に推定される核関数が、ベイジアン最適化アルゴリズムの理論的リグレット保証にどのように影響するか？
• RQ3 目的関数の滑らかさ（有界なRKHSノルムで測定）が、ベイジアン最適化の収束速度に与える影響は何か？
• RQ4 核ハイパーパrameterがデータから学習される実用的状況において、GP-UCBおよびトムソンサンプリングの理論的分析を拡張できるか？
• RQ5 既存の結果（核が既知または固定であると仮定）と比較して、導出されたリグレットバウンドはどのように異なるか？

主な発見

• 本論文は、Matern RKHSにおける滑らかさ仮定の下で、ノイズのない設定におけるGP-UCBおよびトムソンサンプリングの既存で最もタイトなリグレットバウンドを確立した。
• 核パラメータがデータから推定されてもバウンドが有効であるため、実用的実装への適用可能性が保証される。
• 仮定される滑らかさのもとで、リグレットはO(√T log T)のスケーリングを示し、ノイズのない状況における最適レートと一致する。
• 核推定の不確実性を考慮した分析により、既知の核関数と比較してリグレットレートが劣化しないことが示された。
• 特に低データ環境において、完全な核知識を仮定する先行研究よりも導出バウンドがタイトである。
• 理論的枠組みは、収束保証を損なわずに、ベイジアン最適化における逐次的核学習の使用を支持する。