[论文解读] Disagreement-Based Combinatorial Pure Exploration: Sample Complexity Bounds and an Efficient Algorithm

Tongyi Cao, Akshay Krishnamurthy|arXiv (Cornell University)|Nov 21, 2017

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一类基于分歧的组合纯探索算法，通过利用组合结构，实现了改进的样本复杂度。该工作首次在固定置信度和固定预算设置下，实现了具有极小化最优样本复杂度的交互式算法，其核心是提出了一种新型的归一化遗憾不等式，并通过高效的线性优化预言机实现计算。

ABSTRACT

We design new algorithms for the combinatorial pure exploration problem in the multi-arm bandit framework. In this problem, we are given $K$ distributions and a collection of subsets $\\mathcal{V} \\subset 2^{[K]}$ of these distributions, and we would like to find the subset $v \\in \\mathcal{V}$ that has largest mean, while collecting, in a sequential fashion, as few samples from the distributions as possible. In both the fixed budget and fixed confidence settings, our algorithms achieve new sample-complexity bounds that provide polynomial improvements on previous results in some settings. Via an information-theoretic lower bound, we show that no approach based on uniform sampling can improve on ours in any regime, yielding the first interactive algorithms for this problem with this basic property. Computationally, we show how to efficiently implement our fixed confidence algorithm whenever $\\mathcal{V}$ supports efficient linear optimization. Our results involve precise concentration-of-measure arguments and a new algorithm for linear programming with exponentially many constraints.

研究动机与目标

• 设计能够自适应组合决策集 $υ$ 结构的交互式学习算法，以在非交互基线之外进一步降低样本复杂度。
• 建立信息论下界，表明在任何情形下，均匀采样都无法优于所提方法。
• 为固定置信度和固定预算设置设计高效算法，其性能不会劣于非交互的极小化最优率，但在异质性存在时可显著更优。
• 即使 $\mathcal{V}$ 的规模呈指数级增长，也能通过线性优化预言机实现多项式时间计算。
• 利用一种新型的归一化遗憾不等式，提供精确的集中性界，其依赖于假设与最优解之间的对称差集。

提出的方法

• 提出一种归一化遗憾不等式，用于控制任意 $v \in \mathcal{V}$ 与最优解 $v^\star$ 之间均值差异的抽样误差，其尺度由对称差集 $d(v, v^\star)$ 决定。
• 设计一种类似消除的算法，仅在幸存假设存在分歧的臂上进行采样，确保 $v^\star$ 永远不会被消除。
• 使用依赖于 $\sqrt{d(v, v^\star)/t}$ 的置信界 $\epsilon_t'(v^\star, v, \delta)$，并引入对数项以实现高概率控制。
• 通过线性优化预言机高效实现固定置信度算法，以识别分歧发生的臂。
• 构建一种计算效率较低但统计性能更优的固定置信度算法，其显式枚举假设并强制版本空间单调缩小。
• 利用时间与假设上的集中不等式和联合界，证明在高概率 $1 - \delta$ 下的正确性。

实验结果

研究问题

• RQ1 交互式算法在组合纯探索中能否实现样本复杂度不劣于非交互的均匀采样，且在问题呈现异质性时表现更优？
• RQ2 组合纯探索中是否存在样本复杂度的根本极限，且可被交互式算法达到？
• RQ3 当 $\mathcal{V}$ 支持线性优化时，即使决策集规模呈指数级增长，是否也能在固定置信度设置下实现高效计算？
• RQ4 与标准均匀收敛界相比，归一化遗憾不等式在紧致性和自适应性方面有何改进？
• RQ5 在固定置信度和固定预算设置下，统计效率与计算效率之间的精确权衡是什么？

主要发现

• 本文建立了非交互式均匀采样样本复杂度的极小化最优界，表明任何均匀采样策略都无法优于该基线。
• 所提固定置信度算法的样本复杂度不劣于非交互的极小化最优率，且在异质性存在时可实现多项式级改进。
• 证明了一种计算效率较低的固定置信度算法在样本复杂度上严格优于先前工作，其界为每根臂 $a$ 的 $O(H_a^{(1)} \log t + H_a^{(2)})$，其中 $H_a^{(1)}$ 和 $H_a^{(2)}$ 为与问题相关的常数。
• 在均值向量 $\mu$ 存在异质性时，固定预算算法优于最大似然估计（MLE），在这些情形下可降低样本复杂度。
• 归一化遗憾不等式在 $v$ 与 $v^\star$ 的对称差集较小时，相比标准均匀收敛界提供了更紧的集中控制。
• 理论保证通过高概率集中界获得，正确性在统一覆盖时间与假设的 $1 - \delta$ 事件下得到保障。