[論文レビュー] What Doubling Tricks Can and Can't Do for Multi-Armed Bandits

Lilian Besson, Emilie Kaufmann|arXiv (Cornell University)|Mar 19, 2018

Advanced Bandit Algorithms Research参考文献 19被引用数 56

ひとこと要約

本論文は、幾何的および指数的ダブリング手法を用いて非 anytime バンディットアルゴリズムを anytime アルゴリズムに変換することを分析し、幾何的トリックは minimax の T^{1/2} 上界を保持する一方で log T 上界は保持しないことを示す一方、指数的トリックは log T の上界を保持でき、 minimax の性能に近づく可能性がある。

ABSTRACT

An online reinforcement learning algorithm is anytime if it does not need to know in advance the horizon T of the experiment. A well-known technique to obtain an anytime algorithm from any non-anytime algorithm is the "Doubling Trick". In the context of adversarial or stochastic multi-armed bandits, the performance of an algorithm is measured by its regret, and we study two families of sequences of growing horizons (geometric and exponential) to generalize previously known results that certain doubling tricks can be used to conserve certain regret bounds. In a broad setting, we prove that a geometric doubling trick can be used to conserve (minimax) bounds in $R\_T = O(\sqrt{T})$ but cannot conserve (distribution-dependent) bounds in $R\_T = O(\log T)$. We give insights as to why exponential doubling tricks may be better, as they conserve bounds in $R\_T = O(\log T)$, and are close to conserving bounds in $R\_T = O(\sqrt{T})$.

研究の動機と目的

• horizon T が未知の場合の MAB における anytime アルゴリズムの必要性を動機づける。
• 敵対的および確率的 MAB 設定におけるダブリング手法がリグレット境界に与える影響を調査する。
• minimax および問題依存のリグレットを保持するダブリング列を特徴づける。
• リグレットの保証と実用性のバランスを取るために、ダブリング方式の選択に関する指針を提供する。

提案手法

• ダブリング Tricks (DT) とダブリング列 (T_i) を形式的に定義する。
• 幾何的ダブリング列を分析し、R_T = c T^gamma (log T)^delta + o(... ) を持つアルゴリズムに DT を適用した場合のリグレットの上界を導出する。
• 幾何的トリックが対数リグレット境界を保つことができないことを示す下界を証明する。
• 指数的ダブリング列を導入し、対数境界を保持しうる上界を導出し、場合によっては minimax 境界も保持できることを示す。
• パラメータ (T0, b, a など) の選択に関する理論的定数と実用的推奨を提供する。
• AFHG (Gaussian) および kl-UCB++ (Bernoulli) に対する数値実験で結果を裏づける。

実験結果

リサーチクエスチョン

• RQ1 単一の Doubling Trick が問題依存のリグレット（log T）と minimax（sqrt(T)）の両方を保持できるか？
• RQ2 幾何的ダブリングと指数的ダブリングの適用による定数要因のトレードオフはどのようなものか？
• RQ3 確率的 MAB において、幾何的トリックは特定のリグレット形式のみを保持し、指数的トリックが他の形式を保持できるのか？
• RQ4 実験における horizon シーケンスと初期パラメータが実務的リグレットにどう影響するか？

主な発見

• 幾何的ダブリングのトリックは minimax 上界 R_T = O(sqrt(T)) を保持できるが、O(log T) の形の境界を保持することはできない。
• 指数的ダブリングのトリックは対数リグレット R_T = O(log T) を保持でき、場合によっては O(sqrt(T)) の境界に近づくことがあります。
• DT を適用すると乗数的なコスト（値段のダブリング）が生じるが、T0 および列のパラメータを調整することでこのコストを抑制できる。
• γ = 0（対数境界）の場合、幾何的トリックは下界を生じ、(log T)^{δ+1} への膨張を招くため対数境界を保持するには不適切である。
• 指数的トリックは定数損失で R_T = O(log T) を達成でき、γ > 0 の場合はより大きな T0 で損失を小さくできる。下界は指数的トリックが両方の領域のバランスをより良く取れることを示唆する。
• 実験は AFHG および kl-UCB^{++} を Bernoulli および Gaussian 設定でダブリング手法が実務的に及ぼす影響を示している。