[論文レビュー] Tight Regret Bounds for Infinite-armed Linear Contextual Bandits

Yingkai Li, Yining Wang+2 more|arXiv (Cornell University)|May 4, 2019

Advanced Bandit Algorithms Research参考文献 10被引用数 8

ひとこと要約

本稿は、無限アーム線形文脈的バンディットに対して、新たな可変信頼水準上界付きUCB（VCL-UCB）アルゴリズムを提案し、$O(\sqrt{d^2 T \log T}) \times \mathrm{poly}(\log\log T)$ のレグレット上界を達成した。これは、既存の $\Omega(\sqrt{d^2 T \log T})$ の下界と、反復対数因子を除いて一致するため、この設定におけるミニマックスレグレットバウンドのギャップを埋めることに成功した。

ABSTRACT

Linear contextual bandit is an important class of sequential decision making problems with a wide range of applications to recommender systems, online advertising, healthcare, and many other machine learning related tasks. While there is a lot of prior research, tight regret bounds of linear contextual bandit with infinite action sets remain open. In this paper, we address this open problem by considering the linear contextual bandit with (changing) infinite action sets. We prove a regret upper bound on the order of $O(\sqrt{d^2T\log T}) imes ext{poly}(\log\log T)$ where $d$ is the domain dimension and $T$ is the time horizon. Our upper bound matches the previous lower bound of $Ω(\sqrt{d^2 T\log T})$ in [Li et al., 2019] up to iterated logarithmic terms.

研究の動機と目的

• 無限行動集合を有する線形文脈的バンディットにおけるタイトなレグレットバウンドを確立するという未解決問題に取り組む。
• すべての $t$ に対して $|D_t| = \infty$ である最悪ケース設定において、ミニマックス最適なレグレットを達成するアルゴリズムを開発する。
• 無限アーム設定における、最高の既知の上界と既存の下界 $\Omega(\sqrt{d^2 T \log T})$ のギャップを埋める。
• 無限行動集合におけるカバーイングネット近似によって生じる追加の $\log T$ 要因を回避する。
• 反復対数因子まで一致する新たなレグレット上界を確立する。

提案手法

• 時間と推定不確実性に基づいて信頼水準を動的に調整するVCL-UCBアルゴリズムを提案する。
• 高次元かつ依存する設定における推定誤差を制御するため、自己正規化された経験的プロセスの鋭い尾部バウンドを用いる。
• 通常の $\log T$ 要因を引き起こすユニオンバウンドペナルティを回避するため、期待値に基づくレグレット解析を導入する。
• 時間経過に伴う逆共分散重み付き行動ノルムの和をバウンドするために、楕円型ポテンシャル補題を活用する。
• 探索と活用のバランスを取るために、$\alpha^i_{\zeta,t}$ を用いた再帰的信頼区間の精密化メカニズムを設計する。
• 関数形 $\sqrt{\tau \log(\tau)}$ の凹関数にジャアソンの不等式を適用し、累積レグレットのよりタイトなバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 無限アーム線形文脈的バンディットにおいて、$\Omega(\sqrt{d^2 T \log T})$ の下界と一致するレグレット上界を達成できるか？
• RQ2 先行研究の $O(\sqrt{d^2 T \log^2 T})$ 上界を、$\Omega(\sqrt{d^2 T \log T})$ の下界に一致させるように改善できるか？
• RQ3 高次元かつ無限行動集合の設定において、ユニオンバウンドによる $\log T$ ペナルティを回避できるか？
• RQ4 自己正規化プロセスの鋭い尾部バウンドを活用することで、従属的かつ適応的サンプリングにおけるよりタイトなレグレット制御が可能か？
• RQ5 時間に依存する信頼水準を持つVCL-UCB戦略により、無限行動集合におけるカバーイングネットの必要性を排除できるか？

主な発見

• 提案されたVCL-UCBアルゴリズムは、最悪ケースの期待レグレットとして $O(\sqrt{d^2 T \log T}) \times \mathrm{poly}(\log\log T)$ を達成する。
• この上界は、反復対数因子を除いて既存の $\Omega(\sqrt{d^2 T \log T})$ の下界と一致し、無限アーム設定におけるギャップを埋めることに成功した。
• ユニオンバウンドペナルティを回避するため、期待値に基づくレグレット分解を用いることで、余分な $\log T$ 要因が排除された。
• 本手法は、自己正規化プロセスの鋭い尾部バウンドと、楕円型ポテンシャル補題の洗練された応用に依存している。
• VCL-UCBフレームワークは、最小限のレグレットで高次元かつ無限行動の文脈的バンディットを扱うための新しい技術的基盤を提供する。
• 結果として、先行研究の上界と下界の間の $O(\sqrt{=\log T})$ のギャップが、無限アーム設定において解消されたことが示された。