[論文レビュー] Nearly Instance Optimal Sample Complexity Bounds for Top-k Arm Selection

Lijie Chen, Jian Li+1 more|arXiv (Cornell University)|Feb 13, 2017

Advanced Bandit Algorithms Research被引用数 17

ひとこと要約

本稿は、確率的マルチアームバンディットにおけるBest-k-Arm問題に対する、新しいエリミネーションベースのアルゴリズムを提示し、ほぼインスタンス最適なサンプル複雑度を達成している。非自明なBest-1-Arm問題からの還元を用いて、新たなインスタンスごとの下界を確立し、アルゴリズムのサンプル複雑度がこの下界と二重対数的要因の範囲内で一致することを証明しており、定数要因を除いて、先行手法を厳密に上回っている。

ABSTRACT

In the Best-$k$-Arm problem, we are given $n$ stochastic bandit arms, each associated with an unknown reward distribution. We are required to identify the $k$ arms with the largest means by taking as few samples as possible. In this paper, we make progress towards a complete characterization of the instance-wise sample complexity bounds for the Best-$k$-Arm problem. On the lower bound side, we obtain a novel complexity term to measure the sample complexity that every Best-$k$-Arm instance requires. This is derived by an interesting and nontrivial reduction from the Best-$1$-Arm problem. We also provide an elimination-based algorithm that matches the instance-wise lower bound within doubly-logarithmic factors. The sample complexity of our algorithm strictly dominates the state-of-the-art for Best-$k$-Arm (module constant factors).

研究の動機と目的

• 確率的バンディットにおけるBest-k-Arm問題のインスタンスごとのサンプル複雑度を完全に特徴づけること。
• Best-k-Arm問題をBest-1-Arm問題に還元することにより、よりタイトなサンプル複雑度の下界を確立すること。
• インスタンスごとの下界と二重対数的要因の範囲内で一致するエリミネーションベースのアルゴリズムを設計すること。
• Best-k-Arm選択のためのサンプル複雑度を、定数要因を除いて、先行の最先端手法を厳密に上回ること。

提案手法

• 単位分散のガウス分布に従う報酬を仮定し、Best-1-Arm問題からの非自明な還元を用いて、新たなインスタンスごとの下界を導出する。
• ギャップの大きさに基づくアームのグループ化を導入：$ G^{ extsf{large}}_r $ および $ G^{ extsf{small}}_r $ で、ギャップは $ (C2^{-r-1}, 2^{-r}] $ の範囲にある。
• ギャップ依存のサンプリング戦略を用いて、上位k個のアームを残りのアームから区別するように、適応的にアームをサンプリングするエリミネーションベースのアルゴリズムを提案する。
• 調和級数に類似した和 $ H = \sum_{i=1}^\infty \varepsilon_i^{-2} (|G^{ extsf{large}}_i| + |G^{ extsf{small}}_i|) $ を用いてサンプル複雑度を分析し、$ \varepsilon_i = 2^{-i} $ とする。
• $ \widetilde{H}^{\textsf{large}} $ および $ \widetilde{H}^{\textsf{small}} $ の上界を確立し、これらが主な複雑度項から $ O(\ln \ln n) $ の範囲内にあることを示す。
• 対称性と対数不等式を用いて、上界と下界の複雑度項の比を抑え、近似的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的バンディットの仮定下で、Best-k-Arm問題の最もタイトなインスタンスごとの下界は何か？
• RQ2 実用的なエリミネーションベースのアルゴリズムが、この下界とサブ対数的要因の範囲内で一致するサンプル複雑度を達成できるか？
• RQ3 上位k個のアームと非上位k個のアームのギャップ構造に応じて、サンプル複雑度はどのようにスケーリングするか？
• RQ4 アームの入力順序は、Best-k-Arm問題の本質的難易度にどのような役割を果たすか？
• RQ5 Best-1-Arm問題からBest-k-Arm問題への還元は、後者に対する非自明でタイトな下界を導けるか？

主な発見

• 本稿は、ガウス分布に従う報酬を仮定し、Best-1-Arm問題からの非自明な還元を用いて、Best-k-Arm問題の新たなインスタンスごとの下界を確立している。
• 提案されたエリミネーションベースのアルゴリズムは、インスタンスごとの下界と二重対数的要因の範囲内で一致するサンプル複雑度を達成しており、$ H $ を主な複雑度項として $ O(H \ln \ln n) $ である。
• アルゴリズムのサンプル複雑度は、定数要因を除いて、すべての先行の最先端手法を厳密に上回っている。
• 解析により、上界と下界の複雑度項の比が $ O(\ln \ln n) $ で抑えられ、近似的最適性が証明された。
• 本稿は、$ \widetilde{H}^{\textsf{large}} + \widetilde{H}^{\textsf{small}} $ が $ O(H \ln k) $ で抑えられることを示しており、これは対数的要因を除いてタイトである。
• 上界ではすべての報酬分布が1-サブガウスであると仮定しているが、下界では技術的必要性から単位分散のガウス分布を仮定している。