[論文レビュー] Pure Exploration of Multi-armed Bandit Under Matroid Constraints

Lijie Chen, Anupam Gupta+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Bandit Algorithms Research参考文献 18被引用数 11

ひとこと要約

本稿は、最小限のサンプル数で最大重みベースを特定することを目的とした、マトロイド制約付きの確率的マルチアームバンディットにおける純粋探索のほぼ最適なアルゴリズムを提案する。ExactおよびPACバージョンの両方でほぼ最適なサンプル複雑度を達成し、トップ-kおよび最良腕識別問題を一般化する。

ABSTRACT

We study the pure exploration problem subject to a matroid constraint (Best-Basis) in a stochastic multi-armed bandit game. In a Best-Basis instance, we are given $n$ stochastic arms with unknown reward distributions, as well as a matroid $\mathcal{M}$ over the arms. Let the weight of an arm be the mean of its reward distribution. Our goal is to identify a basis of $\mathcal{M}$ with the maximum total weight, using as few samples as possible. The problem is a significant generalization of the best arm identification problem and the top-$k$ arm identification problem, which have attracted significant attentions in recent years. We study both the exact and PAC versions of Best-Basis, and provide algorithms with nearly-optimal sample complexities for these versions. Our results generalize and/or improve on several previous results for the top-$k$ arm identification problem and the combinatorial pure exploration problem when the combinatorial constraint is a matroid.

研究の動機と目的

• 可能な解がマトロイド構造によって制約される確率的マルチアームバンディットにおける純粋探索問題に対処すること。
• 既存の最良腕およびトップ-k腕識別に関する結果を、より広範なマトロイド制約の設定に一般化すること。
• 高確率で最大重みベースを特定できるように、可能な限り少ないサンプル数でアルゴリズムを設計すること。
• ExactおよびPACバージョンの両方におけるほぼ最適なサンプル複雑度の境界を提供すること。
• これまでの組み合わせ的純粋探索の研究を、基数制約および分割制約を一般化するマトロイド制約に拡張すること。

提案手法

• 2段階のアルゴリズムを提案：信頼区間を用いた逐次的非最適腕の削除、その後にナーブなサンプリング戦略による最終的精製。
• 高確率での正しさを保つように、候補腕の集合を段階的に縮小する再帰的削除手順を採用。
• Hoeffdingの不等式に基づく信頼区間を用いて、最適ベースに含まれ unlikely な腕を削除。
• 最終段階で、高確率での正しさを保証するために、Naïve-IIアルゴリズムの変種を用いた精緻なサンプリング戦略を適用。
• すべての削除ラウンドおよび最終段階におけるユニオンバウンドを用いてサンプル複雑度を束縛し、失敗確率およびランクに関する対数的依存性を活用。
• 各段階におけるラウンド数、候補セットのサイズ、誤差確率の分析を通じて、理論的サンプル複雑度の境界を導出。

実験結果

リサーチクエスチョン

• RQ1 マトロイド制約付きマルチアームバンディット設定において、最大重みベースの特定にほぼ最適なサンプル複雑度を達成できるか？
• RQ2 サンプル複雑度は、腕の数、マトロイドのランク、および所望の信頼水準に従ってどのようにスケーリングされるか？
• RQ3 提案されたアルゴリズムは、統一的なマトロイドフレームワークの下で、既存のトップ-kおよび最良腕識別結果を一般化できるか？
• RQ4 純粋探索において、サンプル効率性とマトロイド制約の構造の間にはどのようなトレードオフがあるか？
• RQ5 理論的境界は、このクラスの問題に対する既知の下界と比較してどうなるか？

主な発見

• PACバージョンにおいて、提案アルゴリズムのサンプル複雑度は $ O\big{(}n(1 + \ln\delta^{-1}/k) + (\ln\delta^{-1} + k)(\ln k\ln\ln k + \ln\delta^{-1}\ln\ln\delta^{-1})\big{)}\varepsilon^{-2} \big{)} $ であり、これはほぼ最適である。
• Exactバージョンでは、$ n \leq 10k $ または $ \ln\delta^{-1} > k\ln(n/k) $ の条件下で、アルゴリズムは確率 $ 1 - \delta $ 以上で正しい最適ベースを返し、サンプル複雑度は $ O\big{(}n(1 + \ln\delta^{-1}/k)\varepsilon^{-2}\big{)} $ で有界である。
• 本アルゴリズムは、マトロイド制約下でのトップ-k腕識別および組み合わせ的純粋探索に関する先行研究を一般化し、改善している。
• 分析から、サンプル複雑度は失敗確率 $ \delta $ に対して対数的に、腕の数 $ n $ に対して線形的にスケーリングされ、マトロイドのランク $ k $ に対しては非線形にスケーリングされることが示された。
• 繰り返しの段階で、平均報酬に対する信頼性が低い腕を段階的に削除することで、$ \varepsilon $-最適性を高確率で達成。
• 最終段階では、小さな残差セットに対して精緻なサンプリング戦略を適用し、最終的な解が正しくかつサンプル効率的であることを保証。