[論文レビュー] Regret Bounds for Deterministic Gaussian Process Bandits

Nando de Freitas, Alexander J. Smola+1 more|arXiv (Cornell University)|Mar 9, 2012

Advanced Bandit Algorithms Research参考文献 20被引用数 5

ひとこと要約

本稿では、正規分布過程バンディットの決定的設定に対して、指数的レグレット収束を達成する分枝限定法アルゴリズムを提案する。正則性条件下では、$Ó(e^{-\frac{\tau t}{(\ln t)^{d/4}}})$ のレグレット収束が得られる。ノイズありの場合の $O(1/\sqrt{t})$ レグレットとは異なり、決定的設定では非最適領域の迅速な除外が可能となり、累積レグレットが有界となり、グローバル最適解への収束が速くなる。

ABSTRACT

This paper analyses the problem of Gaussian process (GP) bandits with deterministic observations. The analysis uses a branch and bound algorithm that is related to the UCB algorithm of (Srinivas et al., 2010). For GPs with Gaussian observation noise, with variance strictly greater than zero, (Srinivas et al., 2010) proved that the regret vanishes at the approximate rate of $O(\frac{1}{\sqrt{t}})$, where t is the number of observations. To complement their result, we attack the deterministic case and attain a much faster exponential convergence rate. Under some regularity assumptions, we show that the regret decreases asymptotically according to $O(e^{-\frac{τt}{(\ln t)^{d/4}}})$ with high probability. Here, d is the dimension of the search space and $τ$ is a constant that depends on the behaviour of the objective function near its global maximum.

研究の動機と目的

• 観測ノイズのないガウス過程事前分布を用いた決定的関数のグローバル最適化問題に取り組む。
• 観測ノイズありの研究とは対照的に、決定的GPバンディットにおけるレグレット解析のギャップを埋める。
• 事後分布の不確実性と関数の滑らかさを活用して収束を加速する分枝限定法を開発する。
• ノイズのない設定の統計的効率の向上を反映する理論的レグレットバウンドを確立する。

提案手法

• 分枝限定法を用いて探索空間を縮小するようにUCBアルゴリズムを適応し、GP事後分布の平均と分散を用いて選択をガイドする。
• グローバル最大値付近での細かいサンプリングを保証するため、探索空間 $\mathcal{D}$ を格子に基づいて離散化する。
• 収束の高速化を保証するため、関数の滑らかさと最大値における非退化ヘッセ行列を正則性条件として課す。
• 探索と活用のバランスを取るために、$\mu + B\sigma$ の形式の信頼区間を用いるが、ノイズが存在しないため $B$ の選定が重要となる。
• 最大値が存在しないとされる領域を、上界信頼区間に基づいて削除することで、探索領域を徐々に縮小する。
• 2回微分可能であり、理論的解析を支えるために、マトérnおよび平方指数カーネルに依存する。

実験結果

リサーチクエスチョン

• RQ1 決定的GPバンディットにおいて、指数的レグレット収束を達成できるか。その条件は何か？
• RQ2 観測ノイズの不在が、ノイズありの場合と比較して収束速度に与える影響は何か？
• RQ3 グローバル最大値付近での目的関数の滑らかさが、レグレット速度に果たす役割は何か？
• RQ4 ノイズのない設定において、GPに基づく信頼区間を用いて探索空間を効果的に削減できるか？
• RQ5 カーネル選択（例：マトérn、平方指数）が収束速度および理論的保証に与える影響は何か？

主な発見

• 高確率で、レグレットが $\mathcal{O}\left(e^{-\frac{\tau t}{(\ln t)^{d/4}}}\right)$ のレートで指数的に減少する。ここで $\tau$ はグローバル最大値付近での関数の挙動に依存する。
• 累積レグレットが上界で有界であるのに対し、標準的なUCBを用いたノイズありGPバンディットでは累積レグレットが無限大に発散する。
• ノイズが存在しないため、探索空間の大半を除外できることが、指数的収束を可能にする。これにより、最適解の局所化が高速化される。
• 正則性条件下で成り立つ。具体的には、関数がほとんど確実に2回微分可能であり、最大値におけるヘッセ行列の固有値が非ゼロであること。
• 収束レートは格子離散化 $\mathcal{L}$ に依存しないが、最大値の近傍をサンプリングできる十分な細かさである必要がある。
• ノイズありの場合に標準UCBを用いる手法に比べ、本手法は顕著に優れている。これは、ノイズありの場合に遠く離れた点の継続的探索が原因で累積レグレットが無限大に発散するためである。