[論文レビュー] Adaptive Rate of Convergence of Thompson Sampling for Gaussian Process Optimization

Kinjal Basu, Souvik Ghosh|arXiv (Cornell University)|May 18, 2017

Advanced Bandit Algorithms Research参考文献 32被引用数 4

ひとこと要約

本稿は、連続領域におけるガウス過程最適化におけるトムソンサンプリングのための最初の適応的収束速度を確立し、順次推定値 $m{x}^t$ が $t$ に対して指数関数的にグローバル最適解 $m{x}^*$ に収束することを証明している。収束の減衰率は関数の鋭さパラメータ $ heta_ ho$ に適応的に依存する。この結果は正則性条件のもとで成り立ち、アルゴリズムの収束挙動に対する非漸近的集中限界を提供する。

ABSTRACT

We consider the problem of global optimization of a function over a continuous domain. In our setup, we can evaluate the function sequentially at points of our choice and the evaluations are noisy. We frame it as a continuum-armed bandit problem with a Gaussian Process prior on the function. In this regime, most algorithms have been developed to minimize some form of regret. In this paper, we study the convergence of the sequential point $x^t$ to the global optimizer $x^*$ for the Thompson Sampling approach. Under some assumptions and regularity conditions, we prove concentration bounds for $x^t$ where the probability that $x^t$ is bounded away from $x^*$ decays exponentially fast in $t$. Moreover, the result allows us to derive adaptive convergence rates depending on the function structure.

研究の動機と目的

• ノイズのある関数評価を伴う連続領域におけるベイジアン最適化におけるトムソンサンプリングの収束速度を分析すること。
• サンプル点の系列 $\bm{x}^t$ がグローバル最大値 $\bm{x}^*$ に近づく非漸近的集中限界を確立すること。
• 関数の内在的構造、特に鋭さパラメータ $\delta_\epsilon$ を通じて収束速度がどのように適応的になるかを特定すること。
• レギュレータ最小化が点収束よりも重要であるグローバル最適化タスクにおいて、トムソンサンプリングの経験的成功に対する理論的裏付けを提供すること。

提案手法

• 未知関数 $f$ にガウス過程事前分布を置く連続的腕を持つバンディット問題として、グローバル最適化問題を定式化する。
• 各ステップ $t$ において、$f$ の事後分布から点 $\bm{x}^t$ をサンプリングするトムソンサンプリングを分析する。
• 正則性条件のもとで、$\|\bm{x}^t - \bm{x}^*\| > \epsilon$ である確率が $t$ に対して指数関数的に減少することを示す集中限界を導出する。
• 最適解回りの局所的曲率を定量化するための鋭さパラメータ $\delta_\epsilon$ を導入し、これが収束速度を支配することを示す。
• 事後分布の収縮と集中不等式に基づく、新しい証明技法を用いて指数的減衰率を確立する。
• トムソンサンプリングのバッチモード版の分析を拡張し、シミュレーションでその実用的効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 連続領域におけるベイジアン最適化において、トムソンサンプリングはどの程度の速度でグローバル最適解に収束するか？
• RQ2 収束速度は、関数の局所的曲率といった構造的性質にどのように依存するか？
• RQ3 ガウス過程事前分布のもとで、サンプル点の系列 $\bm{x}^t$ に対して非漸近的集中限界を確立できるか？
• RQ4 収束速度は関数の鋭さに適応的であり、もしそうなら、その数学的表現は何か？
• RQ5 観測ノイズの存在が収束速度に与える影響は何か。その影響は定量的に測定可能か？

主な発見

• 正則性条件のもとで、サンプル点 $\bm{x}^t$ がグローバル最適解 $\bm{x}^*$ から離れている確率は、$t$ に対して指数関数的に速く減少する。
• 収束速度は適応的であり、最適解回りの関数の局所的曲率を捉える鋭さパラメータ $\delta_\epsilon$ に依存する。
• 平坦な関数（$\delta_\epsilon$ が小さい）では収束速度が遅くなることが確認され、最適化が難しい地形では収束が遅くなることが裏付けられた。
• シミュレーションにより、ピークの顕著性が高く、観測ノイズ（$\sigma$）が小さい関数では収束が速いことが確認された。
• バッチモード版のトムソンサンプリングは、同じ時間予算内で並列探索が可能であるため、実際の収束が速くなった。
• 理論的枠組みは、同様の証明技法を用いて、他のUCB型アルゴリズムの適応的収束速度を導出する基盤を提供する。