[論文レビュー] The True Sample Complexity of Identifying Good Arms

Julian Katz-Samuels, Kevin Jamieson|arXiv (Cornell University)|Jun 15, 2019

Advanced Bandit Algorithms Research参考文献 29被引用数 5

ひとこと要約

この論文は、検証可能と検証不能なサンプル複雑度の区別を導入することで、マルチアームバンディット問題におけるサンプル複雑度を再定義し、実践的直感に整合する新しい定義を提案する。$ \Theta(n/m)$ の最適サンプル複雑度を達成するアルゴリズムを提示し、$ \epsilon$-良い腕の同定に対しては、$m$ は最良の平均値から $\epsilon$ 以内の腕の数である。また、しきい値ベースの腕選択に対しては、$ \Theta(nk/m)$ であり、$m$ はしきい値 $\mu_0$ 以上の平均を持つ腕の数である。

ABSTRACT

We consider two multi-armed bandit problems with $n$ arms: (i) given an $ε> 0$, identify an arm with mean that is within $ε$ of the largest mean and (ii) given a threshold $μ_0$ and integer $k$, identify $k$ arms with means larger than $μ_0$. Existing lower bounds and algorithms for the PAC framework suggest that both of these problems require $Ω(n)$ samples. However, we argue that these definitions not only conflict with how these algorithms are used in practice, but also that these results disagree with intuition that says (i) requires only $Θ(\frac{n}{m})$ samples where $m = |\{ i : μ_i > \max_{i \in [n]} μ_i - ε\}|$ and (ii) requires $Θ(\frac{n}{m}k)$ samples where $m = |\{ i : μ_i > μ_0 \}|$. We provide definitions that formalize these intuitions, obtain lower bounds that match the above sample complexities, and develop explicit, practical algorithms that achieve nearly matching upper bounds.

研究の動機と目的

• 理論的サンプル複雑度の上限と実際の性能の間の乖離を是正すること。
• 最良の平均値に近い腕が少ない場合に、良い腕を同定するのに必要なサンプル数が少ないという直感を形式化すること。
• 現実世界の適応的データ収集の効率を反映する、検証不能なサンプル複雑度の新しい定義を構築すること。
• 新しい定義に基づいて、実用的かつほぼ最適なサンプル複雑度を達成するアルゴリズムを設計すること。
• $\epsilon$-良い腕の同定およびしきい値ベースの腕選択問題の両方について、下界と上界が一致することを確立すること。

提案手法

• 検証不能なサンプル複雑度の新しい定義を提案し、すべての腕を完全に検証する必要がない状況で、速やかに良い腕を同定することを目的とする。
• 区間ごとに腕を適応的にサンプリングする、ブレケットベースのアルゴリズムを導入し、信頼区間を維持しながら生産性のないブレケットを動的に削除する。
• 信頼区間と逐次仮説検定を用いて、高い確率で正しく動作する一方で、合計サンプル数を最小限に抑える。
• 実際の平均性能と将来のプル回数の推定に基づいて、ブレケット選択と削除のヒューリスティクスを採用する。
• しきい値ベースの腕選択設定では、誤り発見率制御のためのBenjamini-Hochberg手順を適用する。
• 実世界のデータ（例：ドーリラフィラの遺伝子スクリーニング）から、元の平均分布をモデル化するために最尤推定にエントロピー正則化を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 最良の平均値に近い腕が少ない場合に、そのような腕を同定するのに必要なサンプル数が少ないという直感的考えを形式化できるか？
• RQ2 最良の平均値から $\epsilon$ 以内の腕が $m$ 個しか存在しない場合、$\epsilon$-良い腕を同定する真のサンプル複雑度は何か？
• RQ3 高確率で正しい結果を得つつ、実用的に最適なサンプル複雑度を達成するアルゴリズムをどのように設計できるか？
• RQ4 $\epsilon$-良い腕の同定としきい値ベースの腕選択の間にはどのような関係があり、同じ手法で解けるか？
• RQ5 適応的データ収集中において、検証不能なサンプル複雑度と検証可能なサンプル複雑度はどのように異なるのか？また、実世界の応用においてなぜ重要なのか？

主な発見

• 最良の平均値から $\epsilon$ 以内の腕が $m$ 個ある場合、$\epsilon$-良い腕を同定するための下界が $\Omega(n/m)$ であることを確立した。
• $\epsilon$-良い腕の同定において、$O(n/m)$ の検証不能なサンプル複雑度を達成するアルゴリズムを提案し、対数要因を除いて下界と一致する。
• しきい値 $\mu_0$ 以上の平均を持つ腕 $k$ 個を同定する場合、下界が $\Omega(nk/m)$ であることを証明し、$O(nk/m)$ のサンプル複雑度を達成するアルゴリズムを提示した。
• 提案されたアルゴリズムは、特に良い腕がスパースな状況において、既存の手法を上回る実用的性能を示した。Drosophila遺伝子スクリーニングデータを用いた実験でその有効性が確認された。
• 検証不能なサンプル複雑度の使用により、完全な検証に $\Omega(n)$ のサンプルが必要な状況でも、有利な構成では良い腕をより速く同定できる。
• ブレケット管理および動的ブレケット削除のヒューリスティクスは、理論的保証を損なわず、高確率での正しさを維持しながら、実効的性能を向上させた。