[論文レビュー] Disagreement-Based Combinatorial Pure Exploration: Sample Complexity Bounds and an Efficient Algorithm

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|Nov 21, 2017

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿は、組合せ的構造を活用することで、より優れたサンプル複雑性を達成する、組合せ的純粋探索における不一致に基づくアルゴリズムを導入する。固定信頼度および固定予算設定の両方で、最小最大最適なサンプル複雑性を達成する初めてのインタラクティブなアルゴリズムを提供しており、新しい正規化されたリグレット不等式と、計算に効率的な線形最適化オракルを用いている。

ABSTRACT

We design new algorithms for the combinatorial pure exploration problem in the multi-arm bandit framework. In this problem, we are given $K$ distributions and a collection of subsets $\\mathcal{V} \\subset 2^{[K]}$ of these distributions, and we would like to find the subset $v \\in \\mathcal{V}$ that has largest mean, while collecting, in a sequential fashion, as few samples from the distributions as possible. In both the fixed budget and fixed confidence settings, our algorithms achieve new sample-complexity bounds that provide polynomial improvements on previous results in some settings. Via an information-theoretic lower bound, we show that no approach based on uniform sampling can improve on ours in any regime, yielding the first interactive algorithms for this problem with this basic property. Computationally, we show how to efficiently implement our fixed confidence algorithm whenever $\\mathcal{V}$ supports efficient linear optimization. Our results involve precise concentration-of-measure arguments and a new algorithm for linear programming with exponentially many constraints.

研究の動機と目的

• 決定集合 $υ$ の組合せ的構造に適応するインタラクティブな学習アルゴリズムを設計し、非インタラクティブなベースラインを上回るサンプル複雑性の低減を実現すること。
• 均一なサンプリングがいかなる状況でも、提案手法を上回ることはできないことを示す情報理論的下界を確立すること。
• 固定信頼度および固定予算設定における効率的なアルゴリズムを開発し、非インタラクティブな最小最大レートよりも悪い結果にならないが、不均一性が存在する場合には著しく優れるようにすること。
• 特に $\mathcal{V}$ が指数的サイズであっても、線形最適化オーケストラを用いて多項式時間での計算を可能にすること。
• 対称的集合差分に基づく新しい正規化されたリグレット不等式を用いて、正確な集中限界を提供すること。この不等式は、仮説と最適解との間の対称的集合差分に依存する。

提案手法

• 任意の $v \in \mathcal{V}$ と最適解 $v^\star$ 間の平均差のサンプリング誤差を、対称的集合差分 $d(v, v^\star)$ でスケーリングすることで制御する正規化されたリグレット不等式を導入する。
• 生存する仮説が不一致するアームでのみサンプリングするエリミネーション型のアルゴリズムを設計し、$v^\star$ が誤って削除されないことを保証する。
• 信頼区間 $\epsilon_t'(v^\star, v, \delta)$ を用い、$\sqrt{d(v, v^\star)/t}$ に比例し、高確率制御のための対数項を組み込む。
• 不一致が生じるアームを特定するために、線形最適化オーケストラを用いて固定信頼度アルゴリズムを効率的に実装する。
• 仮説を明示的に列挙し、バージョンスペースの単調な縮小を強制することで、非効率的だが統計的に優れた固定信頼度アルゴリズムを構築する。
• 時間および仮説の上での集中不等式と和集合の不等式を用い、高確率 $1 - \delta$ で正しさを証明する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的純粋探索におけるインタラクティブなアルゴリズムは、非インタラクティブな均一サンプリングよりも悪い結果にならず、問題に不均一性がある場合には優れるサンプル複雑性を達成できるか？
• RQ2 組合せ的純粋探索におけるサンプル複雑性に根本的な限界があり、それがインタラクティブなアルゴリズムによって達成可能か？
• RQ3 $\mathcal{V}$ が線形最適化をサポートする場合、指数的サイズの意思決定集合であっても、固定信頼度設定で効率的な計算が可能か？
• RQ4 正規化されたリグレット不等式は、標準的な一様収束の不等式に比べて、タイトさと適応性の点でどのように向上するか？
• RQ5 固定信頼度および固定予算設定において、統計的効率性と計算的効率性の正確なトレードオフは何か？

主な発見

• 本稿では、非インタラクティブな均一サンプリングの最小最大最適なサンプル複雑性を確立し、いかなる均一サンプリング戦略でも、このベースラインを上回ることはできないことを示した。
• 提案された固定信頼度アルゴリズムは、非インタラクティブな最小最大レートよりも悪い結果にならず、不均一性がある場合には多項式的に優れるサンプル複雑性を達成する。
• 非効率的だが統計的に優れた固定信頼度アルゴリズムは、各アーム $a$ について $O(H_a^{(1)} \log t + H_a^{(2)})$ のスケーリングを示すことが示され、$H_a^{(1)}$ および $H_a^{(2)}$ は問題依存定数である。
• 固定予算アルゴリズムは、平均ベクトル $\mu$ に不均一性がある場合、最尤推定（MLE）を上回り、そのような状況でのサンプル複雑性を低減する。
• 正規化されたリグレット不等式は、$v$ と $v^\star$ 間の対称的集合差分が小さい場合に、標準的な一様収束の不等式よりもタイトな集中制御を可能にする。
• 高確率での集中限界を用いて理論的保証を証明し、正しさは時間および仮説全体に一様に成り立つ $1 - \delta$ イベントによって保証される。