[論文レビュー] Time-Varying Gaussian Process Bandit Optimization

Ilija Bogunovic, Jonathan Scarlett+1 more|arXiv (Cornell University)|Jan 25, 2016

Advanced Bandit Algorithms Research参考文献 25被引用数 35

ひとこと要約

本稿では、報酬関数が時間とともに変化する時間変動型ガウス過程バンディット最適化のための、2つの新しいアルゴリズム、R-GP-UCB および TV-GP-UCB を提案する。関数の時間的変化をマルコフ的仮定の下でモデル化することで、定期的なリセットまたは滑らかな忘却を用いて、探索と活用のバランスを保ちながら関数の変化に適応する。その結果、時間の長さと関数変化率の間のトレードオフを明示的に定量化するレギュレートバウンドを達成した。

ABSTRACT

We consider the sequential Bayesian optimization problem with bandit feedback, adopting a formulation that allows for the reward function to vary with time. We model the reward function using a Gaussian process whose evolution obeys a simple Markov model. We introduce two natural extensions of the classical Gaussian process upper confidence bound (GP-UCB) algorithm. The first, R-GP-UCB, resets GP-UCB at regular intervals. The second, TV-GP-UCB, instead forgets about old data in a smooth fashion. Our main contribution comprises of novel regret bounds for these algorithms, providing an explicit characterization of the trade-off between the time horizon and the rate at which the function varies. We illustrate the performance of the algorithms on both synthetic and real data, and we find the gradual forgetting of TV-GP-UCB to perform favorably compared to the sharp resetting of R-GP-UCB. Moreover, both algorithms significantly outperform classical GP-UCB, since it treats stale and fresh data equally.

研究の動機と目的

• センサーネットワークやレコメンデーションシステムなど、実世界の応用で一般的に見られるように、報酬関数が時間とともに変化する状況における逐次ベイズ最適化の課題に対処すること。
• 古くなった観測値を同様に有用であると扱うのを避け、陳腐化したデータと新鮮なデータを区別するアルゴリズムを開発すること。
• 時間変動型報酬関数を、時間的および空間的相関を捉えるために、マルコフ的進化モデルを用いたガウス過程でモデル化すること。
• 時間の長さと関数変化率の間のトレードオフを明示的に特徴付ける理論的レギュレートバウンドを提供すること。
• 滑らかな忘却（TV-GP-UCB）が、鋭いリセット（R-GP-UCB）および古典的GP-UCBよりも動的環境で優れていることを実験的に示すこと。

提案手法

• 報酬関数を、時間的進化が単純なマルコフモデルに従うガウス過程としてモデル化し、過去の関数と独立同一分布のGPサンプルの凸結合で表現する。
• R-GP-UCBを提案する。これは定期的な間隔でGP事後分布をリセットすることで、古くなったデータを除外し、最新の観測に集中する。
• TV-GP-UCBを導入する。これは指数的忘却を適用して、古いデータの影響を徐々に低下させることで、関数変化に滑らかに適応する。
• 関数の最大値やその位置の急激な変化によって生じる不安定性に対処するための、新しい解析的手法を用いて、両アルゴリズムのレギュレートバウンドを導出する。
• 2次テイラー展開と集中不等式を用いて、関数の変化率、カーネルの滑らかさ、時間の長さの関数としてレギュレートをバウンドする。
• アルゴリズムに依存しない累積レギュレートの下界を確立し、導出された上界が対数因子を除いてタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 時間変動型報酬関数を効果的に扱いながら、逐次最適化において低いレギュレートを達成できるバンディットアルゴリズムをどのように設計できるか？
• RQ2 時間変動型関数が存在する状況において、探索、活用、忘却の最適なトレードオフは何か？
• RQ3 鋭いリセットと滑らかな忘却の異なる忘却戦略は、動的環境でのパフォーマンスにどのように影響を与えるか？
• RQ4 時間変動型GPバンディットアルゴリズムに対して、どのような理論的レギュレートバウンドを導出できるか。また、それらは関数の変化率と時間の長さにどのように依存するか？
• RQ5 提案されたアルゴリズムは、データが陳腐化する実世界の動的環境において、古典的GP-UCBを上回る性能を示せるか？

主な発見

• 滑らかな忘却を用いる提案されたTV-GP-UCBアルゴリズムは、鋭いリセットを用いるR-GP-UCBよりも、合成的および実世界の実験において優れた性能を示し、特に関数の変化が段階的である状況で顕著である。
• R-GP-UCBおよびTV-GP-UCBの両方とも、時間の長さと関数変化率に明示的に依存するレギュレートバウンドを達成しており、これらの要因間の原理的トレードオフを示している。
• 2乗指数カーネルおよびMatérnカーネルの場合、関数変化率が有界であれば、レギュレートバウンドはO(√(T log T))にスケーリングされ、滑らかさの仮定の下でほぼ最適な性能を示す。
• 累積レギュレートのアルゴリズムに依存しない下界はΩ(Tε)であり、εは関数変化率を定量化する。これは、上界が対数因子を除いてタイトであることを示している。
• 古典的GP-UCBは、すべてのデータを同じように扱うため、時間変動型環境では著しく性能が劣り、動的環境への適応性に欠ける。
• 交通速度データセットにおける実験結果から、TV-GP-UCBは複数日を通じてベースライン手法よりも一貫して低いレギュレートを達成しており、実世界の動的システムにおける頑健性を確認した。