[論文レビュー] Beating Stochastic and Adversarial Semi-bandits Optimally and Simultaneously

Julian Zimmert, Haipeng Luo+1 more|arXiv (Cornell University)|Jan 25, 2019

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿では、環境の種別や時間枠$T$の事前知識がなくても、確率的環境では最適な$Ø(\log T)$のリグレット、敵対的環境では最適な$Ø(\sqrt{T})$のリグレットを同時に達成する、新しい半バンドイットアルゴリズムを提示する。探索と活用の統合を図るハイブリッド正則化子を導入し、具体的な半バンドイットインスタンスに対して最適な問題依存定数を達成する。

ABSTRACT

We develop the first general semi-bandit algorithm that simultaneously achieves $\mathcal{O}(\log T)$ regret for stochastic environments and $\mathcal{O}(\sqrt{T})$ regret for adversarial environments without knowledge of the regime or the number of rounds $T$. The leading problem-dependent constants of our bounds are not only optimal in some worst-case sense studied previously, but also optimal for two concrete instances of semi-bandit problems. Our algorithm and analysis extend the recent work of (Zimmert & Seldin, 2019) for the special case of multi-armed bandit, but importantly requires a novel hybrid regularizer designed specifically for semi-bandit. Experimental results on synthetic data show that our algorithm indeed performs well uniformly over different environments. We finally provide a preliminary extension of our results to the full bandit feedback.

研究の動機と目的

• 確率的および敵対的半バンドイット環境の両方で最適なリグレットを達成する、1つのアルゴリズムを設計すること。
• 環境タイプ（確率的か敵対的か）や時間枠$T$の事前知識の必要性を排除すること。
• リグレットバウンドにおける問題依存定数を最小限に抑え、具体的な半バンドイット問題インスタンスに対して最適なものにすること。
• より一般化された半バンドイット設定に、統一的かつ適応的なフレームワークを用いて、マルチアームドバンディットの先行研究を拡張すること。

提案手法

• アルゴリズムは、確率的および敵対的レジーム間で、探索と活用を動的にバランスする、新しいハイブリッド正則化子を採用する。
• 正則化子は、選択された行動に対して部分的な報酬が観測される半バンドイットフィードバックに特化して設計されている。
• マルチアームドバンディットの枠組みに基づくが、Zimmert & Seldin (2019) のフレームワークを拡張し、部分観測を伴う半バンドイットフィードバックに対応する。
• 指数関数的および二乗$\ell_2$正則化子の重み付き組み合わせを用いて、明示的なレジーム検出なしに環境タイプに適応する。
• 慎重なパrameter調整により、両方の設定におけるリグレットをバランスさせることで、二重最適性保証を達成する。
• 分析により、アルゴリズムが確率的環境では$\mathcal{O}(\log T)$のリグレット、敵対的環境では$\mathcal{O}(\sqrt{T})$のリグレットを達成することが証明される。問題依存定数は最適である。

実験結果

リサーチクエスチョン

• RQ1 1つのアルゴリズムが、環境タイプの事前知識がなくても、確率的および敵対的半バンドイット環境の両方で最適なリグレットを達成できるか。
• RQ2 半バンドイットフィードバックにおいて、両レジームで同時に最適性を達成できる正則化子の構造は何か。
• RQ3 リグレットバウンドにおける問題依存定数が、具体的な半バンドイットインスタンスに対して最適であるか。
• RQ4 アルゴリズムは、異なるフィードバック構造に適応的に探索と活用をバランスさせられるか。
• RQ5 このフレームワークは、同様の保証が得られるように、フルバンドイットフィードバック設定へ拡張可能か。

主な発見

• 提案されたアルゴリズムは、環境の種別や$T$の事前知識がなくても、確率的環境では$\mathcal{O}(\log T)$のリグレット、敵対的環境では$\mathcal{O}(\sqrt{T})$のリグレットを達成する。
• リグレットバウンドにおける問題依存定数は、最悪ケースにおいても最適であり、2つの具体的な半バンドイット問題インスタンスに対しても最適である。
• 新規のハイブリッド正則化子により、確率的および敵対的設定間での滑らかな適応が可能となり、混合または未知の環境では、レジーム特化型アルゴリズムを上回る性能を発揮する。
• 合成データを用いた実験結果により、アルゴリズムが確率的および敵対的環境の両方で一貫して良好な性能を発揮することが確認された。
• この手法は、フルバンドイットフィードバック設定へも拡張可能であり、半バンドイットフィードバックを超える初期的だが有望な拡張である。
• 理論的分析により、アルゴリズムのリグレットバウンドがタイトであり、両設定において既知の下界と一致することが確認された。