[論文レビュー] Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality

Kwang-Sung Jun, Chicheng Zhang|arXiv (Cornell University)|Jun 15, 2020

Advanced Bandit Algorithms Research参考文献 36被引用数 5

ひとこと要約

本稿では、強制的探索を伴わず、必要に応じて有界なレグレットを達成できる、構造的バンディットにおける新たなアルゴリズムCROP（Crush Optimism with Pessimism）を提案する。CROPは、楽観的仮説の削除を、悲観的仮説を用いて導くことで、全アーム数$K$ではなく、有効なアーム数$K_{\rho}$に比例したレグレットスケーリングを実現する。これにより、有限時間性能が向上し、容易なインスタンスに適応可能となる。

ABSTRACT

We study stochastic structured bandits for minimizing regret. The fact that the popular optimistic algorithms do not achieve the asymptotic instance-dependent regret optimality (asymptotic optimality for short) has recently alluded researchers. On the other hand, it is known that one can achieve bounded regret (i.e., does not grow indefinitely with $n$) in certain instances. Unfortunately, existing asymptotically optimal algorithms rely on forced sampling that introduces an $ω(1)$ term w.r.t. the time horizon $n$ in their regret, failing to adapt to the "easiness" of the instance. In this paper, we focus on the finite hypothesis case and ask if one can achieve the asymptotic optimality while enjoying bounded regret whenever possible. We provide a positive answer by introducing a new algorithm called CRush Optimism with Pessimism (CROP) that eliminates optimistic hypotheses by pulling the informative arms indicated by a pessimistic hypothesis. Our finite-time analysis shows that CROP $(i)$ achieves a constant-factor asymptotic optimality and, thanks to the forced-exploration-free design, $(ii)$ adapts to bounded regret, and $(iii)$ its regret bound scales not with $K$ but with an effective number of arms $K_ψ$ that we introduce. We also discuss a problem class where CROP can be exponentially better than existing algorithms in extit{nonasymptotic} regimes. This problem class also reveals a surprising fact that even a clairvoyant oracle who plays according to the asymptotically optimal arm pull scheme may suffer a linear worst-case regret.

研究の動機と目的

• 既存の漸近的最適なバンディットアルゴリズムが強制的探索に依存するという制限を克服し、容易なインスタンスにおいて有界レグレットを達成できない$\omega(1)$のレグレット項を回避すること。
• 問題インスタンスが許容する場合に、同時に漸近的インスタンス依存最適性と有界レグレットを達成できるバンディットアルゴリズムの開発。
• 構造的スパarsityを捉える有効なアーム数$K_{\rho}$を導入することで、レグレットバウンドにおける全アーム数$K$への依存を排除すること。
• 漸近的最適性が達成されない場合でも、楽観主義に基づくアルゴリズムが依然として有効であるかどうかを示すこと。特に、完璧な情報を持つオラクルでさえ、最悪ケースにおいて線形レグレットを被る可能性があること。

提案手法

• CROPは、悲観的仮説を用いて、楽観的仮説を識別・削除する。これは、悲観的推定値に有用な情報を提供するアームを引くことで実現される。
• アルゴリズムは動的に候補仮説の集合を維持し、悲観的信頼区間において観測された報酬と整合しない仮説を削除する。
• 統計的発散（KL発散）を用いて仮説の整合性を評価することで、強制的サンプリングに依存せずに、信頼区間ベースの削除戦略を採用する。
• レグレット解析において、有効なアーム数$K_{\rho}$を新たに導入し、最適割り当て下での情報を持つアーム数を定量化することで、$K$への依存を低減する。
• KL発散と指数的チフト（exponential tilting）に基づく新しい下界の議論を用いて、構造的バンディットにおけるレグレットの根本的限界を確立する。
• 主な技術的要素として、レグレット解析における指数関数的および対数的項を含む不等式を逆算するために、ラマーモン・W関数（Lambert W function）を用いる。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムが、容易なインスタンスにおいて有界レグレットを達成できる漸近的インスタンス依存最適性を同時に達成できるか。
• RQ2 既存の漸近的最適なアルゴリズムにおける強制的サンプリングが、必然的に$\omega(1)$のレグレットを引き起こすのか。この問題を回避できるか。
• RQ3 構造的バンディットにおいて、情報を持つアームがスパースな場合に、レグレットバウンドが全アーム数$K$ではなく、有効なアーム数$K_{\rho}$に比例してスケーリングできるか。
• RQ4 楽観主義に基づくアルゴリズムに根本的な制限があるのか、それとも、漸近的最適性が達成されない場合でも、最悪ケースにおいて依然として最適性を達成できるか。
• RQ5 仮説空間の構造が、強制的探索なしに有界レグレットを可能にする役割を果たすのか。その構造はどのように活用できるか。

主な発見

• CROPは、$c(f)\ln n$の下界を定数倍以内に達成し、漸近的インスタンス依存最適性を実現する。
• 最適仮説が1つの情報を持つアームしか持たないインスタンスにおいて、強制的サンプリングなしに有界レグレットを達成する。
• CROPのレグレットバウンドは、全アーム数$K$ではなく、情報を持つ有効なアーム数$K_{\rho}$に比例してスケーリングされ、有限時間性能が顕著に向上する。
• 非漸近的領域では、情報を持つアームがスパースな構造的設定において、OSSB や OAM などの既存アルゴリズムと比較して、CROPは指数的に優れた性能を示す。
• 解析により、最適なアーム割り当てを採用する完璧な情報を持つオラクルですら、最悪ケースにおいて線形レグレットを被る可能性があることが判明し、漸近的最適性が唯一の目標であるという仮定に疑問を呈する。
• 下界解析により、$\ln n$スケーリングが根本的であり、対数未満のレグレットを達成するためには、構造的スパarsityに依存する必要があることが確認された。