[论文解读] Multi-player Multi-Armed Bandits with non-zero rewards on collisions for uncoordinated spectrum access

Akshayaa Magesh, Venugopal V. Veeravalli|arXiv (Cornell University)|Oct 21, 2019

Advanced Bandit Algorithms Research参考文献 29被引用 10

一句话总结

本文提出了一种去中心化的多用户多臂赌博机策略，用于非协调频谱接入场景，其中用户经历非对称奖励，并在碰撞时获得非零奖励。该策略实现了 $O(\log^{2+\delta}{T})$ 阶的期望遗憾，对于某些 $\delta > 0$，在非理想碰撞条件下显著改善了遗憾的缩放性能。

ABSTRACT

In this paper, we study the uncoordinated spectrum access problem using the multi-player multi-armed bandits framework. We consider a model where there is no central control and the users cannot communicate with each other. The environment may appear differently to different users, extit{i.e.}, the mean rewards as seen by different users for a particular channel may be different. Additionally, in case of a collision, we allow for the colliding users to receive non-zero rewards. With this setup, we present a policy that achieves expected regret of order $O(\log^{2+\delta}{T})$ for some $\delta > 0$.

研究动机与目标

• 解决动态无线网络中用户无法通信或协调的非协调频谱接入问题。
• 为同一信道在不同用户之间建模非对称奖励分布，以反映现实世界中对信道感知的差异。
• 允许碰撞时获得非零奖励，相较于零奖励碰撞模型，更能真实反映实际干扰场景。
• 设计一种去中心化策略，在缺乏协调与非对称信息的条件下最小化期望遗憾。
• 在这些现实且具有挑战性的假设下，建立理论遗憾边界。

提出的方法

• 将非协调频谱接入问题建模为具有用户特定奖励分布的多用户多臂赌博机（MAB）框架。
• 提出一种策略，使每位用户能够基于本地观测与奖励反馈独立选择信道。
• 引入一种学习机制，以考虑非零碰撞奖励，并相应调整探索与利用之间的权衡。
• 采用一种改进的探索策略，以平衡信道质量学习与避免有害碰撞之间的权衡。
• 采用针对非对称奖励模型与非零碰撞结果量身定制的对数遗憾分析。
• 在给定模型假设下，利用集中不等式与随机优势论证推导理论遗憾边界。

实验结果

研究问题

• RQ1 在具有用户特定非对称奖励的多用户MAB设置中，去中心化策略如何实现低遗憾？
• RQ2 非零碰撞奖励对非协调频谱接入协议的遗憾性能有何影响？
• RQ3 能否设计一种学习策略，使其在非对称且非零碰撞奖励模型下仍保持次对数遗憾缩放？
• RQ4 缺乏协调与通信如何影响频谱接入算法的收敛性与性能？
• RQ5 在这些现实无线网络假设下，可实现的理论遗憾边界是什么？

主要发现

• 所提出的策略实现了 $O(\log^{2+\delta}{T})$ 阶的期望遗憾，对于某些 $\delta > 0$，相较于简单策略有显著改进。
• 即使用户对同一信道观测到不同的平均奖励，该遗憾边界依然成立，反映出现实中的非对称信道感知。
• 非零碰撞奖励被显式建模并整合进学习策略中，且未导致性能下降。
• 该策略在用户之间无需协调或通信的情况下运行，保持了去中心化特性。
• 理论分析确认遗憾随时间缓慢增长，表明在信息有限的情况下仍能实现有效学习。
• 结果表明，即使在非对称与非零碰撞条件下，次对数遗憾仍可实现，挑战了先前关于性能极限的假设。