[論文レビュー] Refined Lower Bounds for Adversarial Bandits

Sébastien Gerchinovitz, Tor Lattimore|arXiv (Cornell University)|May 24, 2016

Advanced Bandit Algorithms Research参考文献 16被引用数 55

ひとこと要約

本稿は、敵対的バンディットアルゴリズムの精密な下界を確立し、最近の高確率のリグレットに基づく上界、最良の腕の総損失（第1階層の境界）に基づく上界、および損失の二乗変動（第2階層の境界）に基づく上界が、ほぼタイトであることを示している。さらに、2つの不可能性結果を証明している：一貫して最適な腕が存在するか、損失の範囲が小さいという条件下でも、最悪ケースのリグレットは低下しない。これはバンディット設定における適応性の根本的な限界を示している。

ABSTRACT

We provide new lower bounds on the regret that must be suffered by adversarial bandit algorithms. The new results show that recent upper bounds that either (a) hold with high-probability or (b) depend on the total lossof the best arm or (c) depend on the quadratic variation of the losses, are close to tight. Besides this we prove two impossibility results. First, the existence of a single arm that is optimal in every round cannot improve the regret in the worst case. Second, the regret cannot scale with the effective range of the losses. In contrast, both results are possible in the full-information setting.

研究の動機と目的

• 精密な性能指標に依存する敵対的バンディットアルゴリズムのタイトな下界を提供することで、理解のギャップを埋めること。
• 損失が小さい（第1階層の境界）または分散が低い（第2階層の境界）場合に、改善されたリグレット境界が達成可能かどうかを調査すること。
• たとえば、各ラウンドで唯一の最適な腕が存在する、または損失の範囲が有界であるといった構造的仮定が、最悪ケースのリグレットを低減できるかどうかを検討すること。
• これらの仮定の下で、バンディットアルゴリズムの適応性における根本的限界を確立し、フル情報設定と対比すること。

提案手法

• 敵対的状況を模倣するように巧みに構築された損失系列の族を用いて、一般化されたミニマックス下界を導出する。
• 定理1を適用して、学習者が戦略を適応するのを妨げるような損失ベクトルの分布を構築する。
• 集中不等式と確率的議論を用いて、特に損失の範囲が有界である場合や最適な腕が一定であるような特定の損失構造における期待リグレットを評価する。
• リグレットと損失の二乗変動、および有効範囲との関係を分析することで、リグレットと分散、損失正則性の相互作用を解明する。
• 還元技術を用いて、たとえば損失範囲が有界である、または常に最適な腕が存在するといった有利な構造的仮定があっても、期待リグレットが √(TK) よりもよくならないことを示す。
• 導出された下界に反するような改善が不可能であることを示すことで、既存の上界のタイトさを検証する（対数因子を除いて）。

実験結果

リサーチクエスチョン

• RQ1 最良の腕の総損失が小さい場合、敵対的バンディットアルゴリズムは O(√(TK)) より著しく優れたリグレット境界を達成可能か？
• RQ2 損失の二乗変動に比例するようにスケーリングされるリグレットを持つバンディットアルゴリズムを設計可能か？また、そのような境界はどの程度タイトか？
• RQ3 各ラウンドで一貫して最適な腕が存在する場合、最悪ケースのリグレットは低減可能か？
• RQ4 リグレットが時間枠 T ではなく損失の有効範囲 ρ に比例するようにスケーリング可能か？
• RQ5 高確率リグレット境界は、信頼パラメータ δ が未知であっても、現在の最先端を著しく超えるように改善可能か？

主な発見

• 本稿は、第1階層のリグレットに依存する最小最大下界 Ω(√(αTK)) を証明しており、最良の腕の総損失に依存する既存の境界が、対数因子を除いてほぼ最適であることを示している。
• 二乗変動に依存する第2階層の境界に関しては、分散が有界である場合、最良のリグレットが Ω(√(TK)) であることが確立されており、既知の境界がタイトであることを示している。
• 損失の有効範囲 ρ に比例するリグレットを達成することは不可能である。たとえ ρ ≥ 0.22√((K−1)/T) であっても、リグレットは Ω(√(T(K−1))) のままであり、最悪ケースの境界に改善がないことが示された。
• 各ラウンドで一貫して最適な腕が存在するという仮定があっても、最悪ケースのリグレットは低下しない。下界は、この仮定のもとでも Ω(√(T(K−1))) のまま維持される。
• 高確率リグレット境界は著しく改善できない。Exp3.P と Exp3-IX の両方の δ 依存・非依存チューニングが、ほぼ最適であることが示され、後者は平方根の外側での対数的ペナルティしか被らない。
• これらの不可能性結果は、フル情報設定とは著しく対照的である。フル情報設定では、このような構造的仮定がリグレットの改善をもたらすが、バンディット設定ではそのような差が顕著に現れる。これは、バンディットとフル情報フィードバックの間の根本的な違いを強調している。