[論文レビュー] Multiple Identifications in Multi-Armed Bandits

Sébastien Bubeck, Tengyao Wang+1 more|arXiv (Cornell University)|May 14, 2012

Advanced Bandit Algorithms Research参考文献 4被引用数 18

ひとこと要約

本稿は、固定予算下でのマルチアームバンディット設定において上位$m$本のアームを特定するためのSAR（Successive Accepts and Rejects）アルゴリズムを提案する。新たな複雑度測度$H^{\langle m\rangle}$を導入し、SARが$\tilde{\mathcal{O}}(H^{\langle m\rangle})$のサンプル複雑度を達成することを証明しており、特に$m > 1$の場合に、ベースライン手法（Successive Rejects（SR）や均等サンプリング）に比べて顕著な改善を示している。この手法により、マルチバンディット最良アーム特定問題に対するパラメータフリーな解法が副次的に得られる。

ABSTRACT

We study the problem of identifying the top $m$ arms in a multi-armed bandit game. Our proposed solution relies on a new algorithm based on successive rejects of the seemingly bad arms, and successive accepts of the good ones. This algorithmic contribution allows to tackle other multiple identifications settings that were previously out of reach. In particular we show that this idea of successive accepts and rejects applies to the multi-bandit best arm identification problem.

研究の動機と目的

• 固定予算下での上位$m$本のアーム特定という未解決問題を、単一最良アーム特定の先行研究を拡張することで解決すること。
• 単一最良アーム特定における複雑度測度$H$を、上位-$m$アーム特定に一般化し、$H^{\langle m\rangle}$としてのハードネスの定量化を提案すること。
• Gabillonら（2011）が提起した未解決問題を解消するため、マルチバンディット最良アーム特定問題に対するパラメータフリーなアルゴリズムを開発すること。
• 既存のアルゴリズム（例：SR）が$m > 1$の場合に本質的に劣化している理由を解明し、多アーム特定設定における根本的なトレードオフの違いを明らかにすること。

提案手法

• 上位$m$本に属する可能性の高いアームを段階的に特定するSAR（Successive Accepts and Rejects）アルゴリズムを提案。このアルゴリズムは、劣化ととらえられるアームを段階的に除外し、上位に属すると予想されるアームを段階的に受容する。
• 単一アーム用の$H_1$測度を一般化した新たな複雑度測度$H^{\langle m\rangle} = \sum_{i=1}^{K} \frac{1}{\Delta_i^{(m)\,2}}$を導入。ここで$\Delta_i^{(m)}$は、$m$番目と$(m+1)$番目の平均値の差（ギャップ）を表す。
• 各フェーズで、経験的平均順位とギャップ推定値に基づき、各アームに固定されたプル回数を割り当てるフェーズ別サンプリング戦略を採用。
• 探索と活用のバランスを取るために、$c\sqrt{n / H^{\langle m\rangle} / T_i(t)}$の探索ボーナスを用いた信頼区間ベースの選択ルールを採用。
• 各バンディットを独立したインスタンスとして扱うことで、マルチバンディット設定にSARフレームワークを適用。これにより、$\tilde{\mathcal{O}}(H^{[M]})$の複雑度を持つパラメータフリーなアルゴリズムが実現可能となる。
• 数学的帰納法と集中不等式を用いて誤特定確率の理論的境界を導出し、アルゴリズムが高確率で誤った選択を回避することを証明。

実験結果

リサーチクエスチョン

• RQ1 Successive Rejects（SR）フレームワークを、単一最良アームではなく上位$m$本のアーム特定に拡張することは可能か？ もしそうなら、どのような変更が必要か？
• RQ2 単一アーム特定の複雑度$H$を、上位-$m$アーム設定に適切に一般化するにはどうすればよいか？ また、その一般化がサンプル複雑度に与える影響は？
• RQ3 SRアルゴリズムが$m > 1$の上位$m$アーム特定問題においてなぜ性能が著しく劣化するのか？ また、単一アームケースとはどのような構造的差異があるか？
• RQ4 SARアルゴリズムを、複雑度$H^{[M]}$の事前知識が不要な状況でも、マルチバンディット最良アーム特定問題に適応可能か？
• RQ5 多様なギャップ分布において、SARの誤特定確率は、均等サンプリングやGap-EのようなUCBベースの手法と比較して、どのように異なるか？

主な発見

• SARアルゴリズムは、上位$m$本のアーム特定において$\tilde{\mathcal{O}}(H^{\langle m\rangle})$のサンプル複雑度を達成しており、対数的要因を除いて最適レートに一致する。
• SRアルゴリズムは、$m > 1$の多くの設定において、均等サンプリングよりも性能が劣ることがあり、多アーム特定におけるトレードオフが単一アーム特定とは本質的に異なることを示している。
• 提案された複雑度測度$H^{\langle m\rangle}$は、単一アーム用の$H_1$を一般化しており、平均ギャップに基づいて上位$m$本のアーム特定のハードネスを的確に捉えている。
• 数値実験の結果、SARは均等サンプリングを一貫して上回り、$H^{\langle m\rangle}$の知識を必要とするGap-Eと同等またはわずかに優れた性能を示している。
• SARフレームワークにより、$\tilde{\mathcal{O}}(H^{[M]})$の複雑度を持つマルチバンディット最良アーム特定問題のパラメータフリーなアルゴリズムが実現可能となり、Gabillonら（2011）が提起した未解決問題が解決された。
• 理論的分析により、フェーズ別サンプリングによって上位アームと下位アームの経験的平均ギャップが十分に分離されることを保証し、SARが高確率で誤特定を回避することを証明した。