[論文レビュー] Exponential Regret Bounds for Gaussian Process Bandits with Deterministic Observations

Nando de Freitas, Alex Smola+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 28被引用数 45

ひとこと要約

この論文は、決定的観測下でのガウス過程バンディットに対して指数的レジーットバウンドを確立し、UCBを模倣したブランチアンドバウンドアルゴリズムを用いる。正則性条件下では、高確率でレジーットが $ O(e^{-\frac{\tau t}{(\text{ln}~t)^{d/4}}}) $ に減少することが証明され、観測ノイズありの設定における $ O(1/\text{sqrt}(t)) $ のレートよりも著しく速く、$ d $ は入力次元、$ \tau $ はグローバル最適解付近での関数の挙動に依存する。

ABSTRACT

This paper analyzes the problem of Gaussian process (GP) bandits with deterministic observations. The analysis uses a branch and bound algorithm that is related to the UCB algorithm of (Srinivas et al, 2010). For GPs with Gaussian observation noise, with variance strictly greater than zero, Srinivas et al proved that the regret vanishes at the approximate rate of $O(1/\sqrt{t})$, where t is the number of observations. To complement their result, we attack the deterministic case and attain a much faster exponential convergence rate. Under some regularity assumptions, we show that the regret decreases asymptotically according to $O(e^{-\frac{τt}{(\ln t)^{d/4}}})$ with high probability. Here, d is the dimension of the search space and tau is a constant that depends on the behaviour of the objective function near its global maximum.

研究の動機と目的

• 観測ノイズがゼロである決定的観測下でのガウス過程バンディットの分析を目的とする。
• 観測分散が正であると仮定した先行研究が残した理論的ギャップを埋める。
• 観測ノイズがゼロの状況下で、よりタイトなレジーットバウンドを確立すること。
• 決定的性質に起因する収束速度の向上を反映する高確率レジーットバウンドを提供すること。
• UCB風のアルゴリズムフレームワークを、より良い理論的保証を得るために決定的設定に拡張すること。

提案手法

• Srinivasら（2010）のUCBアプローチを模倣したブランチアンドバウンドアルゴリズムをGPバンディットに適応する。
• レジーットの制御に、GP事前分布の構造を活用した最大情報量を主要な量として用いる。
• ガウス過程事後分布平均と真の関数との乖離を抑え込むために集中不等式を適用する。
• 指数的減少率を導出するために、目的関数のグローバル最大値付近における正則性仮定を課す。
• 時間経過に伴う事後分散の減少を分析することで、高確率レジーットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 観測がノイズなし（決定的）の場合、GPバンディットのよりタイトなレジーットバウンドを確立できるか？
• RQ2 決定的GPバンディット設定下での最適なレジーット減少率は何か？
• RQ3 目的関数がグローバル最大値付近で示す挙動は、収束速度にどのように影響するか？
• RQ4 UCB風のアルゴリズムフレームワークを、決定的条件下で指数的レジーットバウンドを達成できるように適応可能か？
• RQ5 入力空間の次元は、決定的GPバンディットの収束速度にどのような役割を果たすか？

主な発見

• レジーットは時間とともに指数的に速く減少し、具体的には高確率で $ O(e^{-\frac{\tau t}{(\text{ln}~t)^{d/4}}}) $ に減少する。
• 指数的減少率は定数 $ \tau $ に依存し、これはグローバル最大値付近での目的関数の局所的挙動によって決定される。
• 観測分散が正であるノイズあり設定で知られている $ O(1/\text{sqrt}(t)) $ のレートよりも著しく改善されている。
• 目的関数およびGP事前分布に対してやや弱い正則性条件が成立する限り、分析は有効である。
• 結果は、ベイズ最適化設定において決定的性質がはるかに速い収束を可能にすることを示している。