[論文レビュー] Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits

Yingkai Li, Yining Wang+1 more|arXiv (Cornell University)|Mar 30, 2019

Advanced Bandit Algorithms Research参考文献 37被引用数 62

ひとこと要約

本論文は、有限アクション集合を有する線形コンテキストバンディットに対してほぼミニマックス最適レグレット境界を確立し、上界をより引き締める Variable-Confidence-Level (VCL) SupLinUCB 変種を導入し、特定のレジーム下でほとんど一致する下界を提供する。

ABSTRACT

We study the linear contextual bandit problem with finite action sets. When the problem dimension is $d$, the time horizon is $T$, and there are $n \leq 2^{d/2}$ candidate actions per time period, we (1) show that the minimax expected regret is $Ω(\sqrt{dT (\log T) (\log n)})$ for every algorithm, and (2) introduce a Variable-Confidence-Level (VCL) SupLinUCB algorithm whose regret matches the lower bound up to iterated logarithmic factors. Our algorithmic result saves two $\sqrt{\log T}$ factors from previous analysis, and our information-theoretical lower bound also improves previous results by one $\sqrt{\log T}$ factor, revealing a regret scaling quite different from classical multi-armed bandits in which no logarithmic $T$ term is present in minimax regret. Our proof techniques include variable confidence levels and a careful analysis of layer sizes of SupLinUCB on the upper bound side, and delicately constructed adversarial sequences showing the tightness of elliptical potential lemmas on the lower bound side.

研究の動機と目的

• adversarial action contexts の下で有限アクション集合を持つ線形コンテキストバンディットの minimax regret を特徴づける。
• 最悪ケースのレグレットに対してほぼ厳密な上界を達成するアルゴリズムを開発する。
• 有限アクション線形バンディット設定の難しさを示す一致する下界を提供する。

提案手法

• Variable-Confidence-Level (VCL) SupLinUCB の導入。これは time-adaptive confidence levels を用いる SupLinUCB の変種。
• 時刻をレイヤに分割し、レイヤごとに最小二乗推定を行い依存性をデカップルする。
• 対数項の緩和を図るための洗練された解析を用い、レグレット境界の対数項を global log T から log[T(omega^2/d)] に置換するなど、主要な改良を行う。
• Proposition 1 を活用して、レイヤごとの寄与を上界することとデカップルされた統計構造を活用してレグレットの上界を導出する。
• 楕円ポテンシャル補題の緊密さを示すための慎重に設計されたシーケンスを構築し、対戦的下界構築にも寄与する。

実験結果

リサーチクエスチョン

• RQ1 有限アクション集合を有する線形コンテキストバンディットにおける oblivious/adversarial action contexts の下での minimax regret とは何か。
• RQ2 この設定で解析とアルゴリズム設計を精緻化して上界と下界のギャップを縮められるか。
• RQ3 variable-confidence-level アプローチは SupLinUCB 系のレグレット解析における追加的な対数項を取り除けるか。
• RQ4 線形パラメータ化されたバンディットの文脈で、楕円ポテンシャル補題の既存解析はどれほど厳密か。

主な発見

• minimax regret は poly(log log(nT)) 倍の O(sqrt(d T log T log n)) によって上界付けられる。
• minimax regret は Omega(sqrt(d T log n log(T/d))) により下界付けされる（n <= 2^{d/2} かつ T >= d (log_2 n)^{1+epsilon} で任意の epsilon>0）。
• n がそれほど大きくない場合、上界と下界はほぼ一致する（対数を繰り返す因子を除けば）。
• 適応的信頼区間は上界の log T 依存を減らし、最初の O(sqrt(log T)) 项を除去する。
• 層サイズの洗練された解析により層サイズが指数的に増加することが示され、追加の O(sqrt(log T)) 項を削除できる。
• 下界構成は有限アクション空間を超えて無限アクション空間にも拡張されることを示し、有限アクションの設定を超える本質的な難しさを示唆する。