[論文レビュー] On the Optimal Sample Complexity for Best Arm Identification

Lijie Chen, Jian Li|arXiv (Cornell University)|Nov 12, 2015

Advanced Bandit Algorithms Research参考文献 25被引用数 35

ひとこと要約

本稿は、新しい Sign-ξ 問題の下界を活用して、サンプル複雑性を改善したstochastic multi-armed banditsにおける最良腕同定のための新規アルゴリズムを提示する。Sign-ξ 問題からの還元を用いて、Mannor-Tsitsiklisの下界を超える、最良腕同定（Best-1-Arm）問題に対する初めてのインスタンスワイズ最適下界を確立し、最適サンプル複雑性に関する予想を提示する。

ABSTRACT

We study the best arm identification (BEST-1-ARM) problem, which is defined as follows. We are given $n$ stochastic bandit arms. The $i$th arm has a reward distribution $D_i$ with an unknown mean $μ_{i}$. Upon each play of the $i$th arm, we can get a reward, sampled i.i.d. from $D_i$. We would like to identify the arm with the largest mean with probability at least $1-δ$, using as few samples as possible. We provide a nontrivial algorithm for BEST-1-ARM, which improves upon several prior upper bounds on the same problem. We also study an important special case where there are only two arms, which we call the sign problem. We provide a new lower bound of sign, simplifying and significantly extending a classical result by Farrell in 1964, with a completely new proof. Using the new lower bound for sign, we obtain the first lower bound for BEST-1-ARM that goes beyond the classic Mannor-Tsitsiklis lower bound, by an interesting reduction from Sign to BEST-1-ARM. We propose an interesting conjecture concerning the optimal sample complexity of BEST-1-ARM from the perspective of instance-wise optimality.

研究の動機と目的

• stochastic multi-armed banditsにおけるBest-1-Arm問題のサンプル複雑性上界を改善すること。
• Law of the Iterated Logarithmに基づく新しい証明技法を用いて、基本的二腕検定問題であるSign-ξ問題のよりタイトな下界を確立すること。
• Sign-ξ問題への還元を用いて、Best-1-Arm問題に対する新しいインスタンスワイズ下界を導出することにより、古典的Mannor-Tsitsiklisの下界を上回ること。
• インスタンスワイズ最適性の観点から、Best-1-Arm問題の最適サンプル複雑性に関する予想を提示すること。
• Sign-ξ問題とBest-1-Arm問題を新たな理論的分析を通じて結びつけることで、純粋探索bandits分野における先行研究を統合的かつ拡張すること。

提案手法

• 信頼度δ/2^iを徐々に小さくし、サンプリングレートr_i = 2^iを増加させる複数のベースアルゴリズム𝒜のインスタンスを実行する、シミュレーションベースのアルゴリズムSIM(𝒜_i, r_i)を導入する。
• ラウンドロビン方式のシミュレーション戦略を採用し、ラウンドrではr_iがrを割り切るすべてのアルゴリズム𝒜_iをインデックスの昇順にシミュレートする。
• 各シミュレートされたアルゴリズムに対して独立したサンプリングストリームを割り当て、統計的独立性とシミュレーションの正しさを保証する。
• 各アルゴリズム𝒜_iが最初に終了して成功する事象ℱ_iに確率空間を分割することで、期待実行時間の解析を可能にする。
• T(δ/2^i, I) ≤ T(δ, I) · (ln δ^{-1} + i ln 2)/ln δ^{-1} という合理的な時間バウンドTに対して成り立つ性質を用いて、期待シミュレーション時間のバウンドを導出する。
• シミュレートされたアルゴリズムのタイトな期待実行時間バウンドO(T(δ, I))を導出し、δ-正しさを保ちつつ、期待O(T)時間で実行可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスワイズ最適性の下で、Best-1-Arm問題の最適サンプル複雑性は何か？
• RQ2 古典的∆^{-2}下界を改善し、対数対数補正を捉えるよりタイトなSign-ξ問題の下界を導出可能か？
• RQ3 Sign-ξ問題をどのようにしてBest-1-Arm問題の新しい下界を導出するための構築要素として用いることができるか？
• RQ4 Law of the Iterated Logarithmは、逐次検定問題に対する非漸近的下界を確立する上で果たす役割は何か？
• RQ5 Best-1-Arm問題におけるKKS下界（O(∑Δ_i^{-2}(ln ln Δ_i^{-1} + ln δ^{-1})))は、インスタンスワイズ最適か？ もしそうならば、どのような条件下で成立するか？

主な発見

• 本稿は、Law of the Iterated Logarithmに基づく新しい証明を用いて、古典的∆^{-2}下界を改善し、ln ln ∆^{-1}要因を含むSign-ξ問題に対する新たな下界を確立した。
• Sign-ξ問題における任意のδ-正しさを持つアルゴリズムの期待サンプル複雑性が満たす性質 lim sup_{Δ→0} T_A[Δ]/(Δ^{-2} ln ln Δ^{-1}) > 0 を証明し、ln ln Δ^{-1}要因の必要性を確認した。
• Sign-ξ問題をBest-1-Arm問題に還元することで、Mannor-Tsitsiklisの下界を超える、Best-1-Arm問題に対する初めての下界を導出した。これにより、Δ_{[2]}^{-2} ln ln Δ_{[2]}^{-1} がサンプル複雑性に不可欠であることが示された。
• 提案されたアルゴリズムは、O(∑_{i=2}^n Δ_{[i]}^{-2}(ln ln Δ_{[i]}^{-1} + ln δ^{-1}))のサンプル複雑性を達成し、最高水準の既知の上界（KKS下界）と一致するため、近似的に最適性を示唆している。
• 任意の弱い期待T時間δ-正しさを持つアルゴリズムを、期待O(T)時間δ-正しさを持つアルゴリズムに変換するシミュレーションベースの変換を導入し、耐障害性の高いアルゴリズムの構築を可能にした。
• Best-1-Arm問題の最適サンプル複雑性がΩ(∑_{i=2}^n Δ_{[i]}^{-2} (ln ln Δ_{[i]}^{-1} + ln δ^{-1}))であるという予想を提示した。これは、インスタンスワイズ最適性を確立するものである。