[論文レビュー] Nearly Optimal Sampling Algorithms for Combinatorial Pure Exploration

Lijie Chen, Anupam Gupta+3 more|arXiv (Cornell University)|Jun 4, 2017

Advanced Bandit Algorithms Research参考文献 21被引用数 7

ひとこと要約

本稿は、確率的マルチアームバンディットにおける組合せ的純探索問題BEST-SETのほぼ最適なサンプリングアルゴリズムを提示する。目的は、最小限のサンプル数で、与えられた族F内の最大の合計期待報酬を持つ実行可能部分集合を特定することである。本手法は、新たなインスタンスワイズの下界と、線形計画法の緩和と信頼区間を用いた二段階のサンプリング手順を組み合わせ、情報理論的下界から対数的要因|F|の範囲内でサンプル複雑性を達成する。マトロイド、マッチング、パスといった重要な組合せ的族に対しては、凸最適化と近似パレートオ曲線を用いて多項式時間の実装が可能である。

ABSTRACT

We study the combinatorial pure exploration problem Best-Set in stochastic multi-armed bandits. In a Best-Set instance, we are given $n$ arms with unknown reward distributions, as well as a family $\mathcal{F}$ of feasible subsets over the arms. Our goal is to identify the feasible subset in $\mathcal{F}$ with the maximum total mean using as few samples as possible. The problem generalizes the classical best arm identification problem and the top-$k$ arm identification problem, both of which have attracted significant attention in recent years. We provide a novel instance-wise lower bound for the sample complexity of the problem, as well as a nontrivial sampling algorithm, matching the lower bound up to a factor of $\ln|\mathcal{F}|$. For an important class of combinatorial families, we also provide polynomial time implementation of the sampling algorithm, using the equivalence of separation and optimization for convex program, and approximate Pareto curves in multi-objective optimization. We also show that the $\ln|\mathcal{F}|$ factor is inevitable in general through a nontrivial lower bound construction. Our results significantly improve several previous results for several important combinatorial constraints, and provide a tighter understanding of the general Best-Set problem. We further introduce an even more general problem, formulated in geometric terms. We are given $n$ Gaussian arms with unknown means and unit variance. Consider the $n$-dimensional Euclidean space $\mathbb{R}^n$, and a collection $\mathcal{O}$ of disjoint subsets. Our goal is to determine the subset in $\mathcal{O}$ that contains the $n$-dimensional vector of the means. The problem generalizes most pure exploration bandit problems studied in the literature. We provide the first nearly optimal sample complexity upper and lower bounds for the problem.

研究の動機と目的

• 組合せ的純探索問題BEST-SETに対処すること。目的は、組合せ的制約の下で、F内の合計期待報酬が最大の実行可能部分集合を特定すること。
• BEST-SETのサンプル複雑性に対するタイトでインスタンスワイズの下界を確立すること。これにより、問題固有の難易度を捉える。
• この下界に対して対数的要因|F|の範囲内で一致するサンプリングアルゴリズムを設計することにより、ほぼ最適性を保証すること。
• マトロイド、マッチング、パスなどの重要な組合せ的族に対して、凸最適化と近似パレートオ曲線を用いて多項式時間の実装を提供すること。
• 幾何的定式化を用いた純探索の枠組みを拡張し、ガウス分布の腕を伴うこの一般設定に対して、初めてのほぼ最適な境界を提供すること。

提案手法

• まず、平均推定値を精緻化するためにラウンドロビンサンプリングを用い、次に線形計画法の緩和を適用して最適なサンプリング比率を決定する二段階のサンプリングアルゴリズムLPSampleを提案する。
• 最適部分集合と他の候補との識別可能性を捉える線形計画問題を用いて、サンプル複雑性に対する新たなインスタンスワイズの下界を導出する。
• 信頼区間と集中不等式（例：ホエーディングの不等式）を用いて、高確率での正しさを保証し、平均推定値が十分に正確である「良い」事象に条件づける。
• 凸計画法における分離と最適化の等価性を活用し、スパニングツリー やマッチングといった複雑な族に対しても、効率的にサンプリング分布を計算する。
• 指数的サイズのFを明示的に列挙せずに扱うために、多目的最適化における近似パレートオ曲線の概念を導入する。
• n次元ガウス分布の腕と互いに素な結果集合Oを用いた幾何的定式化を適用し、先行研究の純探索問題を一般化する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的純探索問題において、最適部分集合を特定するために必要なサンプル数のインスタンス固有の情報理論的下界は何か？
• RQ2 |F|がnの指数関数的に大きい場合でも、|F|の対数的要因の範囲内でこの下界に一致するサンプリングアルゴリズムを設計できるか？
• RQ3 マトロイド、マッチング、パスなどの組合せ的族に対して、このサンプリングアルゴリズムを多項式時間で効率的に実装できるか？
• RQ4 |F|の対数的要因は一般に避けられないものか、それとも特定の問題クラスでは除去可能か？
• RQ5 ガウス分布の腕と互いに素な結果領域を伴う幾何的定式化の枠組みを、純探索に拡張できるか？

主な発見

• 本稿は、BEST-SETのサンプル複雑性に対する新たなインスタンスワイズの下界を確立し、従来の境界よりもタイトで、問題固有の難易度を捉えている。
• 提案されたLPSampleアルゴリズムは、導出された下界のO(ln |F|)要因の範囲内でサンプル複雑性を達成し、ほぼ最適性を示している。
• マトロイド、マッチング、パスなどの組合せ的族に対しては、凸最適化と近似パレートオ曲線を用いて、多項式時間での実装が可能である。
• 本稿は、Nisan-Wigderson設計に基づく非自明な下界構築により、ln |F| 要因が一般に避けられないことを証明している。
• ガウス分布の腕と互いに素な結果領域を伴う純探索の幾何的定式化は、多数の先行研究の純探索問題を一般化でき、本稿はこの設定に対して初めてのほぼ最適なサンプル複雑性境界を提供している。
• アルゴリズムの期待サンプル複雑性は、O(Low(I)(ln δ−1 + n³ + n ln ∆−1)) であり、Low(I)はインスタンス固有の下界、∆は真の平均と任意の代替可能な実行可能解との間の最小ユークリッド距離である。