[論文レビュー] Explore no more: Improved high-probability regret bounds for non-stochastic bandits

Gergely Neu|arXiv (Cornell University)|Jun 10, 2015

Advanced Bandit Algorithms Research参考文献 27被引用数 43

ひとこと要約

本稿は、従来、このような保証に不可欠であると信じられてきた明示的で均一な探索を必要とせずに、非確率的マルチアームバンディットにおける高確率的レグレットバウンドを達成する暗黙的探索（IX）戦略を導入する。この手法はバイアス補正損失推定器を用い、よりタイトで洗練された解析を可能にするとともに、Exp3.P や通常の Exp3 よりも優れた実験的性能を実現する。

ABSTRACT

This work addresses the problem of regret minimization in non-stochastic multi-armed bandit problems, focusing on performance guarantees that hold with high probability. Such results are rather scarce in the literature since proving them requires a large deal of technical effort and significant modifications to the standard, more intuitive algorithms that come only with guarantees that hold on expectation. One of these modifications is forcing the learner to sample arms from the uniform distribution at least $\\Omega(\\sqrt{T})$ times over $T$ rounds, which can adversely affect performance if many of the arms are suboptimal. While it is widely conjectured that this property is essential for proving high-probability regret bounds, we show in this paper that it is possible to achieve such strong results without this undesirable exploration component. Our result relies on a simple and intuitive loss-estimation strategy called Implicit eXploration (IX) that allows a remarkably clean analysis. To demonstrate the flexibility of our technique, we derive several improved high-probability bounds for various extensions of the standard multi-armed bandit framework. Finally, we conduct a simple experiment that illustrates the robustness of our implicit exploration technique.

研究の動機と目的

• 期待レグレットバウンドと高確率的レグレットバウンドのギャップを、明示的均一探索の必要性を排除することで埋める。
• 性能劣化を引き起こす劣悪な腕の強制的探索を回避する、より強固で実験的に効果的なアルゴリズムを開発する。
• Freedmanの不等式のような高度な集中不等式に依存せず、より洗練された、より基本的な解析を提供する。
• いつでもアルゴリズムやさまざまなバンディット拡張（例えば、エキスパートアドバイス、最良の腕を追跡）をサポートするフレームワークに拡張する。
• 暗黙的探索が、従来の手法よりもタイトなバウンドを達成しつつ、すべての信頼水準で強固な理論的保証を維持できることを示す。

提案手法

• 行動選択分布と正則化パラメータを含む行列逆行列を用いた推定損失の調整により、暗黙的探索（IX）損失推定戦略を導入する。
• 推定損失は $\widetilde{\bm{\ell}}_t = (P_t + \gamma I)^{-1} \bm{V}_t \bm{V}_t^T \bm{\ell}_t$ で与えられ、$P_t$ は行動分布の外積、$\gamma$ は暗黙的探索効果を制御する。
• 報酬ゲームではなく損失ゲームの直接的解析を採用することで、より一貫性がありタイトなバウンドが得られる。
• Freedmanの不等式のような高度な道具に依存せず、基本的なマルティングル手法に依拠する新しい集中的議論を採用する。
• すべての信頼水準に対して同時に成り立つバウンドを導出し、特に $T$ の事前知識がなくとも、これまでの結果よりもタイトである。
• 時変する最適な腕を伴う合成バンディット問題を用いて、実験的にアプローチを検証し、Exp3-IX と Exp3、Exp3.P を比較する。

実験結果

リサーチクエスチョン

• RQ1 明示的探索を伴わず、非確率的バンディットにおける高確率的レグレットバウンドを達成できるか？
• RQ2 IX推定による暗黙的探索機構は、強固な理論的保証を達成するとともに、実験的性能を向上させるのに十分か？
• RQ3 IXに基づく解析は、エキスパートアドバイス、最良の腕を追跡、サイド観測などの拡張に一般化可能か？
• RQ4 IX法は、時間枠 $T$ の知識が不要な「いつでも」アルゴリズムを自然に導くか？
• RQ5 明示的探索が強制されていないにもかかわらず、実際にはIXベースのアルゴリズムが各腕を概ね $\Omega(\sqrt{T})$ 回採用する理由は何か？

主な発見

• 本稿は、明示的探索が高確率的レグレットバウンドに不要であることを証明し、文献において広く信じられていた考えを覆す。
• Exp3-IX は Exp3.P よりもタイトなレグレットバウンドを達成し、特に時変する最適な腕を伴う非確率的環境では実験的に顕著に優れた性能を示す。
• 実験結果から、$T=10^6$、$Δ=0.1$ の条件下で50回の実行において、Exp3-IX はExp3.P や通常のExp3よりもレグレットと標準偏差が低く、より頑健であることが示された。
• 解析により、特定の信頼水準に特化した過去の結果とは異なり、すべての信頼水準に対して同時に成り立つバウンドが得られた。
• IX推定器により、Freedmanの不等式のような高度な道具に依存せず、より洗練された、より基本的な証明が可能となり、理論的アクセス性が向上した。
• この手法は線形バンディットにも自然に拡張可能であり、オンライン学習分野における広範な影響を及ぼす可能性を示唆するが、適応的レグレットバウンドは未解決の課題のままである。