[論文レビュー] An Improved Parametrization and Analysis of the EXP3++ Algorithm for Stochastic and Adversarial Bandits

Yevgeny Seldin, Gábor Lugosi|arXiv (Cornell University)|Feb 20, 2017

Anomaly Detection Techniques and Applications被引用数 28

ひとこと要約

この論文は、多腕バンディット問題におけるEXP3++アルゴリズムを改善し、時間枠に依存するレジストの悪化を緩和するための新しいギャップ推定戦略を導入している。この戦略により、確率的環境下でのレジストの時間枠依存性が (ln t)^3 から (ln t)^2 に低下し、Δe^{1/Δ²} のオーダーの望ましくない加法的項が完全に排除される。敵対的レジストの境界は変更されておらず、確率的および敵対的両環境におけるロバスト性が保たれている。

ABSTRACT

We present a new strategy for gap estimation in randomized algorithms for multiarmed bandits and combine it with the EXP3++ algorithm of Seldin and Slivkins (2014). In the stochastic regime the strategy reduces dependence of regret on a time horizon from $(\ln t)^3$ to $(\ln t)^2$ and eliminates an additive factor of order $Δe^{1/Δ^2}$, where $Δ$ is the minimal gap of a problem instance. In the adversarial regime regret guarantee remains unchanged.

研究の動機と目的

• EXP3++アルゴリズムの確率的状態における時間枠依存性の不適切なレジストを是正すること。
• 従来のEXP3++の解析で生じる Δe^{1/Δ²} のオーダーの加法的レジスト項を排除すること。
• 確率的設定でのパフォーマンス向上を図りながら、元の敵対的レジスト保証を維持すること。
• 確率的および敵対的環境の両方に適応できる、よりロバストで効率的なパrametrizationの開発

提案手法

• 観測された報酬に基づいて動的に探索を調整する新しい確率的ギャップ推定戦略を導入。
• 新しいギャップ推定をEXP3++フレームワークと組み合わせ、探索と活用のトレードオフを最適化。
• 対数的依存性を低減することで、確率的状態におけるレジスト境界を厳密化するための洗練された解析手法を採用。
• ギャップ推定における分散とバイアスを制御するために、濃度不等式と洗練されたマルティンゲール議論を用いる。
• 敵対的ロバスト性を維持するため、元のEXP3++構造を保ちつつ、探索コンponentを確率的効率性に適合させる。
• 最小ギャップ Δ を事前に知らなくても適応可能な新しいパrametrizationを導出。これにより、スケーラビリティとパフォーマンスが向上。

実験結果

リサーチクエスチョン

• RQ1 EXP3++の確率的状態における時間枠依存性を (ln t)^3 から (ln t)^2 に低下させることは可能か？
• RQ2 EXP3++の確率的解析において、Δe^{1/Δ²} のオーダーの加法的レジスト項を排除することは可能か？
• RQ3 改善されたパrametrizationは、元のEXP3++の敵対的レジスト保証を維持するか？
• RQ4 新しいギャップ推定戦略は、確率的および敵対的バンディット設定の両方でパフォーマンスをどのように向上させるか？

主な発見

• 確率的状態におけるレジストが O((ln t)^3) から O((ln t)^2) に低下し、漸近的パフォーマンスが顕著に向上。
• 確率的状態におけるレジスト境界から、問題となる Δe^{1/Δ²} のオーダーの加法的項が完全に排除された。
• 元のEXP3++の敵対的レジスト境界が保持されており、非確率的環境におけるロバスト性が保証されている。
• 新しいギャップ推定戦略により、集中限界がタイトになり、低ギャップ状況での探索がより効率的になった。