[論文レビュー] Finding All ε-Good Arms in Stochastic Bandits

Blake Mason, Lalit Jain+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Bandit Algorithms Research参考文献 19被引用数 6

ひとこと要約

本論文は、確率的マルチアームバンディットにおけるすべてのε-良い腕（最適平均からε以内の期待報酬を持つ腕）を特定するための2つの新しいアルゴリズムを紹介する。この手法は、適応的サンプリングと信頼区間、しきい値処理を組み合わせており、高いサンプル効率を達成し、220万件のレーティングを含む実世界のデータセット（ニューヨーカー・キャプションコンテストおよびがん薬スクリーニングデータ）でも実績を上げている。

ABSTRACT

The pure-exploration problem in stochastic multi-armed bandits aims to find one or more arms with the largest (or near largest) means. Examples include finding an ε-good arm, best-arm identification, top-k arm identification, and finding all arms with means above a specified threshold. However, the problem of finding all ε-good arms has been overlooked in past work, although arguably this may be the most natural objective in many applications. For example, a virologist may conduct preliminary laboratory experiments on a large candidate set of treatments and move all ε-good treatments into more expensive clinical trials. Since the ultimate clinical efficacy is uncertain, it is important to identify all ε-good candidates. Mathematically, the all-ε-good arm identification problem presents significant new challenges and surprises that do not arise in the pure-exploration objectives studied in the past. We introduce two algorithms to overcome these and demonstrate their great empirical performance on a large-scale crowd-sourced dataset of 2.2M ratings collected by the New Yorker Caption Contest as well as a dataset testing hundreds of possible cancer drugs.

研究の動機と目的

• 薬剤スクリーニングや治療法選択などの応用において自然な目的である、最適平均からε以内のすべての腕を特定することに焦点を当て、純探索バンディット分野におけるギャップを埋める。
• ベスト腕やトップk腕の特定とは異なり、一連の独自の課題を伴う、すべてのε-良い腕特定問題に対する先行研究の欠如を克服する。
• 探索と活用のバランスを効率的にとることで、サンプル複雑性を最小限に抑えつつ、正しい特定の高確率を保証するアルゴリズムを設計する。
• 臨床試験の候補選定や大規模なクラウドソーシングレーティングシステムなどの実世界の設定における実用的価値を示す。
• 大規模データセットにおける理論的保証と実証的検証を提供することで、手法の頑健性とスケーラビリティを確立する。

提案手法

• 最適な平均からε以内の期待報酬を持つすべての腕を特定するために、信頼区間と適応的サンプリングを用いた2つのアルゴリズム（しきい値付きUCBと適応的しきい値処理）を提案する。
• 観測された報酬と信頼区間に基づいて動的に調整されるしきい値メカニズムを採用し、非効率な腕を効率的に除外する。
• UCBスタイルの上界信頼区間を用いてサンプリングを誘導し、ε-良い腕である可能性の高い腕を優先的に選択する。
• 信頼区間がε/2未満に収縮する条件に基づく停止基準を導入し、すべてのε-良い腕が高確率で特定されることを保証する。
• 2段階戦略を採用する：まず、腕の平均を十分な精度で推定するためのサンプリングを行い、次に、最良の腕からε以内の腕のみを保持するフィルタリング段階を実施する。
• ニューヨーカー・キャプションコンテスト（220万件のレーティング）およびがん薬スクリーニングデータセットからの実データを活用し、性能とスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的バンディットにおけるすべてのε-良い腕を特定するために必要なサンプル複雑性は何か？ また、既存の純探索的目標と比べてどう異なるか？
• RQ2 適応的サンプリングと信頼に基づく pruning をどのように組み合わせることで、最適平均からε以内のすべての腕を効率的に特定できるか？
• RQ3 すべてのε-良い腕特定問題に特化して設計されたアルゴリズムの理論的および実証的性能バウンダリーは何か？
• RQ4 提案手法は、高次元の腕空間を持つ大規模な実世界データセットにおいて、どのようにスケーリングし、性能を発揮するか？
• RQ5 この目的に特化した場合、標準的手法（UCB やベスト腕特定）に比べ、提案手法がサンプル効率性および正確性の面で優れているか？

主な発見

• 提案されたアルゴリズムは、ナーブなアプローチに比べてはるかに低いサンプル複雑性で、すべてのε-良い腕を高確率で正しく特定できる。
• ニューヨーカー・キャプションコンテストデータセット（220万件のレーティング）における実証的評価では、アルゴリズムは高い正確性と低いレグレットですべてのε-良い腕を特定した。
• がん薬スクリーニングデータセットでは、最良の腕からε以内のすべての有望な候補を効果的に特定し、その後続の臨床試験の候補選定を効率的に行った。
• しきい値付きUCBアルゴリズムは、早期停止において優れた性能を示し、不要なサンプリングを減らしながらも高い信頼性を維持した。
• 適応的しきい値処理アルゴリズムは、多様な報酬分布にわたり頑健であり、大規模な腕集合に対しても効果的にスケーリングした。
• 理論的分析により、すべてのε-良い腕特定問題において、アルゴリズムが最適またはほぼ最適なサンプル複雑性を達成することが確認された。