[論文レビュー] On the Complexity of Best Arm Identification in Multi-Armed Bandit Models

Emilie Kaufmann, Olivier Cappé+1 more|arXiv (Cornell University)|Jul 16, 2014

Advanced Bandit Algorithms Research参考文献 38被引用数 704

ひとこと要約

本稿は、固定信頼度および固定予算設定の両方において、最良腕同定のための最初の分布依存型下界を、多腕バンディットにおいて確立する。情報理論的複雑度測度を導入し、固定予算の複雑度が固定信頼度の複雑度よりも小さいことがあることを証明する。これは、完全な仮説検定における古典的挙動と矛盾するが、誤差制御が保証された一致するアルゴリズムと改善された停止ルールを提供する。

ABSTRACT

The stochastic multi-armed bandit model is a simple abstraction that has proven useful in many different contexts in statistics and machine learning. Whereas the achievable limit in terms of regret minimization is now well known, our aim is to contribute to a better understanding of the performance in terms of identifying the m best arms. We introduce generic notions of complexity for the two dominant frameworks considered in the literature: fixed-budget and fixed-confidence settings. In the fixed-confidence setting, we provide the first known distribution-dependent lower bound on the complexity that involves information-theoretic quantities and holds when m is larger than 1 under general assumptions. In the specific case of two armed-bandits, we derive refined lower bounds in both the fixed-confidence and fixed-budget settings, along with matching algorithms for Gaussian and Bernoulli bandit models. These results show in particular that the complexity of the fixed-budget setting may be smaller than the complexity of the fixed-confidence setting, contradicting the familiar behavior observed when testing fully specified alternatives. In addition, we also provide improved sequential stopping rules that have guaranteed error probabilities and shorter average running times. The proofs rely on two technical results that are of independent interest : a deviation lemma for self-normalized sums (Lemma 19) and a novel change of measure inequality for bandit models (Lemma 1).

研究の動機と目的

• 固定信頼度および固定予算の2つの標準設定下で、確率的多腕バンディットモデルにおける最良腕同定のサンプル複雑度を形式化し、比較すること。
• 情報理論的発散度を用いて、$ m \geq 1 $ の場合に固定信頼度設定下での複雑度に対する最初の分布依存型下界を導出すること。
• 固定予算の複雑度が固定信頼度の複雑度よりも厳密に小さいことがあるかどうかを示し、これは完全な代替仮説検定における古典的直観に反する。
• 誤差確率を保証し、期待実行時間を最小化するように最適化された一致するアルゴリズムと改善された逐次停止ルールを設計すること。
• 2つの新しい技術的ツールの確立：自己正規化和のための発散補題およびバンディットモデルにおける測度の変更不等式であり、両者とも独立に有用である。

提案手法

• 固定信頼度および固定予算設定の両方における複雑度測度 $\kappa_C(\nu)$ および $\kappa_B(\nu)$ を導入し、漸近的サンプル複雑度と失敗確率の減衰率に基づく定義を行う。
• 情報理論的発散度を用いて、$\kappa_C(\nu)$ の一般下界を導出し、弱い仮定のもとで $m \geq 1$ に対して有効であることを示す。
• 2腕バンディットに下界を適用し、両設定における精密な下界を導出し、ガウス分布およびベルヌーイ分布モデルにおける一致するアルゴリズムを構築する。
• 異なるバンディットモデルにおける尤度を比較するための新規な測度の変更不等式（補題1）を提案し、タイトな下界の導出を可能にする。
• 逐次的分析における尾確率を制御するための自己正規化和のための発散補題（補題7）を構築する。
• 導出された複雑度下界を活用し、誤差確率 $\delta$ を保証するとともに期待停止時刻を最適値の定数倍に抑える改善された逐次停止ルールを設計する。

実験結果

リサーチクエスチョン

• RQ1 固定信頼度および固定予算設定下で、確率的多腕バンディットにおいて $ m $ 個の最良腕を同定するための根本的なサンプル複雑度の限界は何か？
• RQ2 固定予算の複雑度が固定信頼度の複雑度よりも小さいことはあり得るか？ もしあるならば、どのような条件下で成立するか？
• RQ3 $ m \geq 1 $ の場合に、最良腕同定のための分布依存型下界として、最もタイトなものは何か？
• RQ4 誤差確率 $\delta$ を保証しつつ、期待実行時間を最小化するように逐次停止ルールをどのように設計できるか？
• RQ5 この設定でタイトな下界を導出可能にするための主要な技術的ツールは何か？

主な発見

• 本稿は、$ m \geq 1 $ の場合に、情報理論的発散度を用いて $\kappa_C(\nu)$ に対する最初の分布依存型下界を確立する。
• 2腕バンディットのケースでは、固定予算の複雑度 $\kappa_B(\nu)$ が固定信頼度の複雑度 $\kappa_C(\nu)$ よりも厳密に小さいことが示され、これは完全な代替仮説検定における古典的挙動と矛盾する。
• ガウス分布およびベルヌーイ分布のバンディットに対して、両設定で導出された下界に一致するアルゴリズムが構築され、下界のタイトさが確認される。
• 誤差確率が $\delta$ 未満であることを保証し、期待停止時刻が最適値の定数倍以内に収まるように改善された逐次停止ルールが提案される。
• 一致するアルゴリズムを用いて、導出された下界がタイトであることが示され、両設定における正確な漸近的サンプル複雑度が確立される。
• 2つの新しい技術的ツール—補題7（自己正規化和のための発散補題）および補題1（測度の変更不等式）—が開発され、バンディット理論において独立に有用であることが示された。