[論文レビュー] Practical Algorithms for Best-K Identification in Multi-Armed Bandits

Haotian Jiang, Jian Li+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Bandit Algorithms Research参考文献 2被引用数 8

ひとこと要約

本稿は、有限時間における繰り返し対数法則（LIL）に基づく信頼区間を用いて、ほぼ最適なサンプル複雑度を達成する、実用的な2つのアルゴリズム、lil'RandLUCB および lil'CLUCB を、マルチアームバンディットにおけるベスト-K特定問題に対して提案する。これらのアルゴリズムは理論的下界に対して対数因子の差異を除き一致し、特にアーム数が増加する際、既存の手法を上回る実用的性能を示す。

ABSTRACT

In the Best-$K$ identification problem (Best-$K$-Arm), we are given $N$ stochastic bandit arms with unknown reward distributions. Our goal is to identify the $K$ arms with the largest means with high confidence, by drawing samples from the arms adaptively. This problem is motivated by various practical applications and has attracted considerable attention in the past decade. In this paper, we propose new practical algorithms for the Best-$K$-Arm problem, which have nearly optimal sample complexity bounds (matching the lower bound up to logarithmic factors) and outperform the state-of-the-art algorithms for the Best-$K$-Arm problem (even for $K=1$) in practice.

研究の動機と目的

• マルチアームバンディットにおけるベスト-K特定問題において、理論的に最適なアルゴリズムと実用的に効率的なアルゴリズムの間のギャップを埋める。
• 理論的下界に対して対数因子の差異を除き一致するサンプル複雑度を持つアルゴリズムを設計すること。
• 特に多くのアームを含む大規模な問題に対して、既存の手法を上回る実用的性能を向上させること。
• 提案されたアルゴリズムを、より良いサンプル複雑度を保証する組合せ的純探索（CPE）設定へと拡張すること。

提案手法

• 標準のUCBスタイルの信頼区間ではなく、時間に依存しないLILに基づく信頼区間を用いることで、過剰なサンプリングを低減する。
• lil'RandLUCB は、現在の候補集合内またはその補集合に属するアームの中で信頼区間の半径が最大のものを選択し、効率的な探索を保証する。
• lil'CLUCB は、すべてのアームに対して上界および下界の信頼区間を維持し、最も高い経験的平均を持つアームの集合と、最も高い下界信頼区間を持つアームの集合が一致した段階で停止する。
• 理論的分析では、集中不等式と、新しい停止条件の議論を用いて、サンプル複雑度を上限で制御する。
• トップ-Kアームを求めるオラクルを、組合せ構造上の一般化されたオラクルに置き換えることで、アルゴリズムを組合せ的純探索（CPE）に一般化する。
• 主な技術的イノベーションは、LILから導かれる固定信頼区間半径の使用であり、これにより先行研究の $O(H\log H)$ 項を回避できる。

実験結果

リサーチクエスチョン

• RQ1 近似的に最適なサンプル複雑度と優れた実効的性能を両立するベスト-Kバンディットアルゴリズムを設計できるか？
• RQ2 LILに基づく信頼区間は、標準のUCBやエリミネーションベースの手法と比較して、実用的効率をどのように向上させるか？
• RQ3 LILに基づくアプローチは、保証されたサンプル複雑度を有する組合せ的純探索に一般化可能か？
• RQ4 信頼区間半径の選択が、高信頼度での特定に必要なサンプル数に与える影響は何か？

主な発見

• 提案された lil'RandLUCB および lil'CLUCB アルゴリズムは、$O\left(\sum_{i\in\mathcal{I}}\Delta_{i}^{-2}(\log\delta^{-1} + \log N + \log\log\Delta_{i}^{-1})\right)$ のサンプル複雑度を達成し、理論的下界に対して対数因子の差異を除き一致する。
• lil'RandLUCB は、特に多くのアームを含む高次元設定において、先行研究のアルゴリズムと比較して必要なサンプル数を顕著に削減する。
• ベスト1アーム特定の最先端手法である lil'LUCB よりも優れた実用的性能を、複数のベンチマークで示している。
• 一般化された lil'CLUCB は、組合せ的純探索（CPE）におけるサンプル複雑度を改善し、$O\left(\text{OPT}(\mathcal{M})^2\sigma^2\sum_{i\in\mathcal{I}}\Delta_{i}^{-2}(\log\delta^{-1} + \log N + \log\log\Delta_{i}^{-1})\right)$ の境界を達成する。
• 理論的分析により、アルゴリズムが確率 $1 - c_\epsilon \delta^{1+\epsilon}/N^\epsilon$ 以上で正しい解を返すことが確認された。