[论文解读] Adaptive Multiple-Arm Identification

Jiecao Chen, Xi Chen+2 more|arXiv (Cornell University)|Jun 4, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用 7

一句话总结

本文提出了一种自适应算法，用于在具有聚合遗憾的随机多臂赌博机设置中识别 top-K 支臂，引入了一种新的实例相关难度参数，显著提升了样本复杂度。所提出的 AdaptiveTopK 算法能够自适应地应对每种实例的难度，实现近乎最优的性能，其样本复杂度与实例无关的下界相比仅相差 log(ε⁻¹) 因子。

ABSTRACT

We study the problem of selecting $K$ arms with the highest expected rewards in a stochastic $n$-armed bandit game. This problem has a wide range of applications, e.g., A/B testing, crowdsourcing, simulation optimization. Our goal is to develop a PAC algorithm, which, with probability at least $1-δ$, identifies a set of $K$ arms with the aggregate regret at most $ε$. The notion of aggregate regret for multiple-arm identification was first introduced in \cite{Zhou:14} , which is defined as the difference of the averaged expected rewards between the selected set of arms and the best $K$ arms. In contrast to \cite{Zhou:14} that only provides instance-independent sample complexity, we introduce a new hardness parameter for characterizing the difficulty of any given instance. We further develop two algorithms and establish the corresponding sample complexity in terms of this hardness parameter. The derived sample complexity can be significantly smaller than state-of-the-art results for a large class of instances and matches the instance-independent lower bound upto a $\log(ε^{-1})$ factor in the worst case. We also prove a lower bound result showing that the extra $\log(ε^{-1})$ is necessary for instance-dependent algorithms using the introduced hardness parameter.

研究动机与目标

• 设计一种 PAC 算法，以高概率（1−δ）识别出 ϵ-top-K 支臂集合，同时最小化样本复杂度。
• 引入一种新的难度参数，用于根据支臂均值之间的差距结构，捕捉识别 top-K 支臂的内在难度。
• 设计自适应算法，根据观测数据动态调整采样策略，从而优于非自适应方法（如 OptMAI）。
• 建立紧致的实例相关样本复杂度边界，对于许多问题实例，其复杂度显著低于以往工作。
• 证明一个下界，表明在使用所提出的难度参数时，样本复杂度中的 log(ε⁻¹) 因子是必要的。

提出的方法

• 引入一个新的难度参数 H^(t,ε)，用于量化基于均值差距和置信水平，区分 top-K 支臂与其余支臂的难度。
• 设计 AdaptiveTopK（算法 1），一种基于难度参数的自适应采样策略，结合置信区间和动态拒绝/接受规则。
• 使用序列假设检验并结合 Hoeffding 不等式，以限制支臂错误分类的概率。
• 在内层循环中采用基于组的采样策略，当置信度较高时，可同时高效地接受或拒绝多条支臂。
• 利用新难度参数推导样本复杂度边界，表明其依赖于实例特定的差距，而非最坏情况假设。
• 证明一个匹配的实例相关下界，以确认算法在 log(ε⁻¹) 因子内的最优性。

实验结果

研究问题

• RQ1 我们能否设计一种自适应算法，用于 top-K 支臂识别，使其样本复杂度显著优于非自适应方法？
• RQ2 是否存在一种合适的难度参数，能够基于均值差距和置信水平，捕捉识别 top-K 支臂的内在难度？
• RQ3 与现有实例无关的边界相比，自适应算法的样本复杂度如何随新难度参数变化？
• RQ4 在使用所提出的难度参数时，样本复杂度中的 log(ε⁻¹) 因子是否对任何实例相关算法都是必要的？
• RQ5 所提出的算法是否能在各种数据分布和 K 值下，优于最先进的方法（如 CLUCB-PAC 和 OptMAI）？

主要发现

• 所提出的 AdaptiveTopK 算法在所有测试数据集中均优于 CLUCB-PAC 和 OptMAI，尤其在 K 较大或支臂明显分离时表现更优。
• 在 TwoGroup 数据集中，由于其能够利用内层 while 循环实现批量分类，快速识别出明显分离的 top 支臂，因此 AdaptiveTopK 显著优于其他算法。
• 随着 K 增大，难度参数 H^(t,ε) 减小，导致样本复杂度降低，这解释了 AdaptiveTopK 相较于 OptMAI 的优势持续扩大。
• 该算法实现了严格小于现有最先进结果的实例相关样本复杂度，尤其在支臂明显分离或接近第 K 个阈值时表现更优。
• 理论样本复杂度与实例无关的下界相比仅相差 log(ε⁻¹) 因子，表明其在最坏情况下的近乎最优性。
• 已证明一个下界，表明对于使用所提出难度参数的任何实例相关算法，log(ε⁻¹) 因子是必要的，从而确认了分析的紧致性。