[論文レビュー] Optimal Order Simple Regret for Gaussian Process Bandits

Sattar Vakili, Nacime Bouziani+3 more|arXiv (Cornell University)|Aug 20, 2021

Advanced Bandit Algorithms Research参考文献 72被引用数 5

ひとこと要約

本稿では、ガウス過程バンディットにおける純探索アルゴリズムである最大分散低減法（MVR）を提案し、単純な後悔の上限が $\tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ に達するようになり、既存の上界と下界の間の隔たりを著しく縮小する。この手法は、RKHS内に属する関数に対するGPモデルの新たな鋭い信頼区間を活用し、既知の下界を考慮すると、対数要因を除いて理論的最適性を確立する。

ABSTRACT

Consider the sequential optimization of a continuous, possibly non-convex, and expensive to evaluate objective function $f$. The problem can be cast as a Gaussian Process (GP) bandit where $f$ lives in a reproducing kernel Hilbert space (RKHS). The state of the art analysis of several learning algorithms shows a significant gap between the lower and upper bounds on the simple regret performance. When $N$ is the number of exploration trials and $γ_N$ is the maximal information gain, we prove an $ ilde{\mathcal{O}}(\sqrt{γ_N/N})$ bound on the simple regret performance of a pure exploration algorithm that is significantly tighter than the existing bounds. We show that this bound is order optimal up to logarithmic factors for the cases where a lower bound on regret is known. To establish these results, we prove novel and sharp confidence intervals for GP models applicable to RKHS elements which may be of broader interest.

研究の動機と目的

• ガウス過程バンディットにおける単純後悔の既存の上界と下界の隔たりを埋めること。
• 順序的に最適な単純後悔性能を達成する純探索アルゴリズムを開発すること。
• 再生核ヒルバート空間（RKHS）に属する関数に適用可能な、新たな鋭いGPモデルの信頼区間を導出すること。
• 提案されたアルゴリズムの理論的最適性を、対数要因を除いて確立すること。
• GP事後分散をカーネルリッジ回帰に結びつけることで、単純後悔のより緊密な分析を提供すること。

提案手法

• 事後分散が最大となる点を選択することで、不確実性低減を最大化する純探索アルゴリズム、最大分散低減法（MVR）を提案する。
• 事後分散をノイズのない予測誤差とノイズの影響に分解することにより、GPモデルの新たな信頼区間を導出する（命題1）。
• 事後分散を、ノイズのない観測からの最大予測誤差と観測ノイズの影響の和として定式化する。
• 分散分解を通じて、GP回帰とカーネルリッジ回帰の関係を確立する。
• 導出された信頼区間を用いて、サブガウス分布および軽尾ノイズの仮定下でのMVRの単純後悔を分析する。
• 特に $\gamma_N$（最大情報量）を含む情報理論的量を用いて、高確率での後悔上限を証明する。

実験結果

リサーチクエスチョン

• RQ1 GPバンディットにおける純探索戦略は、対数要因を除いて順序的に最適な単純後悔を達成できるか？
• RQ2 目的関数がRKHSに属する場合、GPモデルの最も鋭い信頼区間は何か？
• RQ3 GPモデルの事後分散は、ノイズのない成分とノイズに依存する成分にどのように分解できるか？
• RQ4 GP回帰とカーネルリッジ回帰の関係を活用することで、後悔分析を改善できるか？
• RQ5 一般のノイズ仮定下で、MVRアルゴリズムの理論的単純後悔上限は何か？

主な発見

• MVRアルゴリズムは、高確率での単純後悔上限 $\tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ を達成し、従来の境界よりも著しくタイトである。
• 提案された信頼区間は鋭く、RKHSの要素に適用可能であり、より緊密な後悔分析を可能にする。
• 事後分散はノイズのない予測誤差項とノイズ依存項に分解され、GPの不確実性に関する新たな洞察を提供する。
• 分析により、下界が既知の場合、$\tilde{\mathcal{O}}(\sqrt{\gamma_N / N})$ の境界が対数要因を除いて順序的に最適であることが示された。
• 数値実験では、Hartman3およびRosenbrockのテスト関数において、MVRはGP-UCB、GP-PI、GP-EIを上回る単純後悔性能を示した。
• 期待値 $\mathbb{E}[r^{\text{MVR}}_N] \leq \epsilon$ を達成するための理論的サンプル複雑度が導出され、対数関数を含む非線形方程式の解法が必要となる。