[論文レビュー] Disagreement-based combinatorial pure exploration: Efficient algorithms and an analysis with localization

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|Nov 21, 2017

Machine Learning and Algorithms参考文献 26被引用数 6

ひとこと要約

本稿では、差分に基づく探索と線形最適化を活用して、固定予算および固定信頼度設定の両方で最先端のサンプル複雑性を達成する、組合せ純粋探索のための効率的アルゴリズムを導入する。この手法により、マッチングや部分行列などの複雑な構造に対しても最適な性能が達成可能となり、正確な集中不等式と大規模な線形計画問題を解くための新規手法を用いる。

ABSTRACT

We design new algorithms for the combinatorial pure exploration problem in the multi-arm bandit framework. In this problem, we are given K distributions and a collection of subsets $\mathcal{V} \subset 2^K$ of these distributions, and we would like to find the subset $v \in \mathcal{V}$ that has largest cumulative mean, while collecting, in a sequential fashion, as few samples from the distributions as possible. We study both the fixed budget and fixed confidence settings, and our algorithms essentially achieve state-of-the-art performance in all settings, improving on previous guarantees for structures like matchings and submatrices that have large augmenting sets. Moreover, our algorithms can be implemented efficiently whenever the decision set V admits linear optimization. Our analysis involves precise concentration-of-measure arguments and a new algorithm for linear programming with exponentially many constraints.

研究の動機と目的

• 最小のサンプル複雑性で組合せ純粋探索のための効率的アルゴリズムを設計すること。
• 逐次的サンプリング制約下で、複数の分布の集合から最適な部分集合を同定する課題に対処すること。
• マッチングや部分行列のような構造的意思決定集合に対して、既存の保証を改善すること。
• 意思決定集合 V における効率的な線形最適化を介して実用的実装を可能にすること。
• 集中測度の議論と指数的制約付き線形計画法を用いた洗練された理論的分析を提供すること。

提案手法

• アルゴリズムは、現在の最良部分集合を改善する可能性の高い腕を優先する差分に基づく探索戦略を用いる。
• 選択問題を、分離オракルを介して解ける指数的多数の制約を有する線形計画問題として定式化する。
• 推定誤差を抑え、最適部分集合の正しく特定を保証するために、正確な集中測度不等式に依存する。
• 反復的に違反する制約を特定することで、指数的多数の制約を有する線形計画問題を解くための新規アルゴリズムを導入する。
• 意思決定集合 V が効率的な線形最適化を可能にする限り、このアプローチは複雑な組合せ構造へのスケーラビリティを実現する。
• フレームワークは固定予算および固定信頼度設定の両方をサポートし、それに応じてサンプリング戦略を適応させる。

実験結果

リサーチクエスチョン

• RQ1 意思決定集合がマッチングや部分行列などの複雑な構造を有する場合、組合せ純粋探索におけるサンプル複雑性を最小限に抑えるにはどうすればよいか？
• RQ2 構造的設定において、差分に基づく探索戦略は、従来の手法と比較してサンプル効率性を向上させ得るか？
• RQ3 固定予算および固定信頼度設定下での組合せ純粋探索の理論的性能限界は何か？
• RQ4 候補となる部分集合の数が指数的に増加する場合、下位の最適化問題を効率的に解くにはどうすればよいか？
• RQ5 正確な集中解析は、正しいかつ効率的な部分集合同定を保証するために果たす役割は何か？

主な発見

• 提案されたアルゴリズムは、組合せ純粋探索において、固定予算および固定信頼度設定の両方で最先端のサンプル複雑性を達成する。
• マッチングや大規模な補完集合を有する部分行列のような構造では、従来の理論的保証を上回る性能を発揮する。
• 意思決定集合 V が効率的な線形最適化を可能にする限り、この手法は効率的な実装を可能にする。
• 指数的多数の制約を有する線形計画問題を解くための新規アルゴリズムが開発され、フレームワークに統合された。
• 理論的分析は鋭い集中測度の議論に依存し、最小限のサンプリングで高確率での正しさを保証する。
• このアプローチは一般性が高く、複雑な依存関係を有するものも含め、広範な組合せ構造に適用可能である。