[论文解读] Decentralized Multi-player Multi-armed Bandits with No Collision Information

Chengshuai Shi, Wei Xiong+2 more|arXiv (Cornell University)|Feb 29, 2020

Advanced Bandit Algorithms Research参考文献 15被引用 12

一句话总结

该论文提出 EC-SIC，一种去中心化的多玩家多臂老虎机算法，通过将通信建模为 Z-信道并应用最优纠错编码来可靠传输奖励统计信息，在无碰撞信息的情况下实现了接近集中式算法的遗憾性能。通过固定消息长度并使用纠错编码，EC-SIC 消除了通信损失，使得渐近遗憾与集中式基准相比仅相差一个常数因子。

ABSTRACT

The decentralized stochastic multi-player multi-armed bandit (MP-MAB) problem, where the collision information is not available to the players, is studied in this paper. Building on the seminal work of Boursier and Perchet (2019), we propose error correction synchronization involving communication (EC-SIC), whose regret is shown to approach that of the centralized stochastic MP-MAB with collision information. By recognizing that the communication phase without collision information corresponds to the Z-channel model in information theory, the proposed EC-SIC algorithm applies optimal error correction coding for the communication of reward statistics. A fixed message length, as opposed to the logarithmically growing one in Boursier and Perchet (2019), also plays a crucial role in controlling the communication loss. Experiments with practical Z-channel codes, such as repetition code, flip code and modified Hamming code, demonstrate the superiority of EC-SIC in both synthetic and real-world datasets.

研究动机与目标

• 在无碰撞信息的情况下，弥合去中心化与集中式多玩家多臂老虎机算法之间的性能差距。
• 通过在信息论中将通信建模为 Z-信道，实现在无碰撞感知条件下玩家间的可靠通信。
• 通过使用固定长度消息和最优纠错编码，消除由通信引起的遗憾。
• 恢复玩家之间共享完整臂统计信息的能力，逆转先前无感知方法中出现的性能退化。
• 证明即使在无感知条件下，也可利用强制碰撞作为通信手段，实现接近集中式下限的遗憾性能。

提出的方法

• 将无碰撞信息的通信阶段建模为 Z-信道，其中“无碰撞”为符号‘0’，‘碰撞’为符号‘1’。
• 应用最优纠错编码（如重复码、翻转码、改进的汉明码）在 Z-信道上编码和解码奖励统计信息。
• 将消息长度固定为常数，避免消息大小的对数增长，防止通信遗憾主导总遗憾。
• 将纠错机制集成到同步机制中，使玩家能够对齐臂统计信息和内部排名。
• 采用两阶段结构：第一阶段通过强制碰撞进行通信，第二阶段利用共享统计信息进行利用。
• 利用随机编码错误指数 $E(\mu_{(K)})$ 来限制解码错误率，确保消息传输的可靠性。

实验结果

研究问题

• RQ1 在无碰撞信息的情况下，去中心化的多玩家多臂老虎机算法能否实现接近集中式基准的遗憾性能？
• RQ2 在无感知条件下，是否可以将强制碰撞用作可靠的通信信道？若可行，如何最小化错误率？
• RQ3 在通信阶段固定消息长度是否能防止通信损失主导无感知设置下的总遗憾？
• RQ4 能否有效将 Z-信道模型下的最优纠错编码应用于多玩家老虎机通信以提升性能？
• RQ5 所提方法在合成数据和真实世界老虎机游戏中的实验表现，与先前的 SIC-MMAB 变体相比如何？

主要发现

• EC-SIC 实现了渐近遗憾上界 $\sum_{k>M}\frac{\log(T)}{\mu_{(M)}-\mu_{(k)}} + \left(\frac{M^{2}K}{E(\mu_{(K)})}\log(\frac{1}{\Delta}) + \frac{MK}{\mu_{(K)}}\right)\log(T)$，与集中式基准相比仅相差一个常数因子。
• 使用固定长度消息消除了 SIC-MMAB2 中占主导地位的 $\log(T)\log^{2}(\log(T))$ 通信遗憾，使 EC-SIC 成为首个接近集中式性能的无感知算法。
• 在合成数据上的实验表明，EC-SIC 显著优于 SIC-MMAB2，尤其在 $M$ 和 $K$ 较大或 $\Delta$ 较小时，因通信错误减少而表现更优。
• 当 $N=15$ 次通信回合时，EC-SIC 的遗憾迅速上升，证实了在错误率与通信成本之间取得平衡至关重要。
• 在真实世界 MovieLens 数据集上（$T=2\times10^7$，$M=20$，$K=40$），EC-SIC 显著优于 SIC-MMAB2，证明了其在高难度、大规模场景下的鲁棒性。
• 实用的 Z-信道编码（如重复码、翻转码和改进的汉明码）能有效降低解码错误率，提升实际性能。