[论文解读] Collaborative Top Distribution Identifications with Limited Interaction

Nikolai Karpov, Qin Zhang+1 more|arXiv (Cornell University)|Apr 20, 2020

Advanced Bandit Algorithms Research参考文献 59被引用 4

一句话总结

本文提出了一种最优协作算法，用于在 $K$ 个代理之间进行有限交互的情况下识别前 $m$ 个臂（均值最高的分布），实现了近似最优的运行时间 $\tilde{O}(H^{\langle m\rangle}/K)$，通信轮数为 $O(\log(1/\Delta^{\langle m\rangle}))$。该研究建立了紧致的时间-轮数权衡关系，并揭示了前 $m$ 个与前 1 个臂识别之间的基本复杂度差距，以及固定时间与固定置信度设置之间的差异。

ABSTRACT

We consider the following problem in this paper: given a set of $n$ distributions, find the top-$m$ ones with the largest means. This problem is also called {\em top-$m$ arm identifications} in the literature of reinforcement learning, and has numerous applications. We study the problem in the collaborative learning model where we have multiple agents who can draw samples from the $n$ distributions in parallel. Our goal is to characterize the tradeoffs between the running time of learning process and the number of rounds of interaction between agents, which is very expensive in various scenarios. We give optimal time-round tradeoffs, as well as demonstrate complexity separations between top-$1$ arm identification and top-$m$ arm identifications for general $m$ and between fixed-time and fixed-confidence variants. As a byproduct, we also give an algorithm for selecting the distribution with the $m$-th largest mean in the collaborative learning model.

研究动机与目标

• 解决在通信轮数最少的协作多代理设置中识别均值最大的前 $m$ 个分布的挑战。
• 刻画在有限交互条件下协作学习中运行时间与通信轮数之间的权衡关系。
• 建立前 $m$ 个臂与前 1 个臂识别之间的复杂度分离，以及固定时间与固定置信度变体之间的复杂度分离。
• 设计一种在通信成本高昂时仍能实现近似最优运行时间并最小化轮数的算法。
• 提供一种在协作模型中高效识别第 $m$ 个最大均值分布的方法。

提出的方法

• 该算法采用递归剔除框架，代理在每轮中根据经验均值和置信区间迭代地细化候选臂集合。
• 在每轮 $r$ 中，代理以每代理 $T_r = O(\log(1/\delta)/(K\epsilon_r^2))$ 次采样在 $I_r$ 中的臂，其中 $\epsilon_r$ 几何递减。
• 代理在每轮结束时通信，以更新活跃集 $I_{r+1}$，剔除那些基于置信边界不太可能属于前 $m$ 个的臂。
• 该算法维护三个不变量：$m_r = |\text{Top}_m \cap I_r|$，$\text{Acc}_r \subseteq \text{Top}_m$，以及 $\text{Rej}_r \subseteq I \setminus \text{Top}_m$。
• 利用集中不等式（Hoeffding 不等式）确保高概率正确性，通过轮数和臂的联合界控制误差界。
• 当 $\epsilon_r \leq \Delta^{\langle m\rangle}_i / 4$ 对所有臂成立时，触发停止条件，确保所有前 $m$ 个臂均被正确识别。

实验结果

研究问题

• RQ1 协作式前 $m$ 个臂识别中，运行时间与通信轮数之间的最优权衡是什么？
• RQ2 在多代理设置中，前 $m$ 个臂识别与前 1 个臂识别的复杂度有何不同？
• RQ3 固定时间与固定置信度变体的前 $m$ 个臂识别在轮复杂度上是否可分离？
• RQ4 是否存在一种方法，可在交互有限的协作设置中高效识别第 $m$ 个最大均值的臂？
• RQ5 实现协作学习中近似最优加速的最少轮数是多少？

主要发现

• 所提算法的运行时间为 $O\left(\frac{H^{\langle m\rangle}}{K}\log\left(\frac{n}{\delta}\log H^{\langle m\rangle}\right)\right)$，通信轮数为 $O(\log(1/\Delta^{\langle m\rangle}))$，在对数因子内达到下界。
• 在事件 $\mathcal{E}_3$ 下，该算法以至少 $1-\delta$ 的概率正确识别前 $m$ 个臂，而 $\mathcal{E}_3$ 以高概率成立。
• 前 $m$ 个臂与前 1 个臂识别之间存在复杂度分离：当 $m > 1$ 时，前 $m$ 个臂识别的轮复杂度严格高于前 1 个臂识别。
• 前 $m$ 个臂识别的固定置信度变体需要 $\Omega(\log(1/\Delta^{\langle m\rangle}))$ 轮，与上界匹配，表明其紧致性。
• 该算法通过在轮次中维护一个精细化的活跃集，也实现了对第 $m$ 个最大均值臂的识别。
• 时间复杂度在对数因子内是最优的，轮复杂度在实现协作学习中近似全速加速方面是紧致的。