[论文解读] Concurrent bandits and cognitive radio networks

Orly Avner, Shie Mannor|arXiv (Cornell University)|Apr 22, 2014

Advanced Bandit Algorithms Research参考文献 19被引用 9

一句话总结

本文提出了一种无需协调、无需通信的算法，用于在认知无线电网络中，多个用户通过改进的 $\epsilon$-greedy 多臂赌博机方法实现最优信道的联合学习与访问，该方法具备动态碰撞避免机制。即使在用户数量未知且随时间变化的情况下，该算法仍能实现次线性遗憾，通过自适应采样概率平衡探索与碰撞解决，在实验中优于先前方法。

ABSTRACT

We consider the problem of multiple users targeting the arms of a single multi-armed stochastic bandit. The motivation for this problem comes from cognitive radio networks, where selfish users need to coexist without any side communication between them, implicit cooperation or common control. Even the number of users may be unknown and can vary as users join or leave the network. We propose an algorithm that combines an $ε$-greedy learning rule with a collision avoidance mechanism. We analyze its regret with respect to the system-wide optimum and show that sub-linear regret can be obtained in this setting. Experiments show dramatic improvement compared to other algorithms for this setting.

研究动机与目标

• 解决在认知无线电网络中，多个自私用户在无通信或协调的情况下访问共享通信信道的挑战。
• 设计一种在用户数量未知且随时间变化的条件下，确保次线性遗憾的算法。
• 在最小化因并发访问导致的碰撞的同时，实现对最优信道的有效学习。
• 消除对用户数量先验知识或预先约定调度协议的依赖。
• 在完全分布式、去中心化的设置下，实现与集中式方案相当的性能保证。

提出的方法

• 将 $\epsilon$-greedy 探索规则与基于不可用期的动态碰撞避免机制相结合。
• 每个用户独立地以随时间变化的探索概率 $\epsilon_t = \min\left(1, \frac{cK^2}{d^2(K-1)t}\right)$ 采样动作，该概率随时间递减。
• 在每个动作被占用后，为其引入长度为 $t^\beta$ 的随机不可用期，防止他人立即重新访问。
• 采用概率机制，用户将动作标记为“已被占用”，仅在不可用期结束后才重新评估。
• 通过最坏情况分析，对可用性机制的遗憾进行上界估计，表明当 $\beta > 2/3$ 时，有 $\mathbb{E}[R^A(t)] \leq C_3 t^\beta$。
• 分析探索（$R^E(t)$）与可用性（$R^A(t)$）两部分的遗憾贡献，并将其合并为总遗憾的次线性上界。

实验结果

研究问题

• RQ1 在用户数量未知的多用户多臂赌博机设置下，完全去中心化、无需通信的算法能否实现次线性遗憾？
• RQ2 在认知无线电网络中，如何在无协调或辅助信道的情况下实现碰撞避免？
• RQ3 时变用户群体对分布式学习系统中遗憾的影响是什么？
• RQ4 $\epsilon$-greedy 方法能否被调整以在并发访问和动态用户到达/离开的情况下维持性能？
• RQ5 在类似对抗性的碰撞动态下，此类系统可推导出的理论遗憾边界是什么？

主要发现

• 所提算法实现了次线性遗憾 $\mathbb{E}[R(t)] = \mathcal{O}(t^\beta)$，其中 $\beta > 2/3$，且 $\beta$ 可调节以平衡探索与碰撞避免。
• 可用性机制的遗憾受 $\mathbb{E}[R^A(t)] \leq C_3 t^\beta$ 限制，其中 $C_3 = 1 + 8C_2$，条件为 $\beta > 2/3$。
• 对于 $N$ 个用户的探索遗憾受 $R^E(t) \leq Nm + \frac{cK^2N}{d^2(K-1)}\log t$ 限制，其中 $m = \left\lceil \frac{cK^2}{d^2(K-1)} \right\rceil$。
• 实验结果表明，该算法显著优于现有方法，尤其在用户数量动态变化且无预先协调的情况下。
• 理论分析证实，即使用户在网络中加入或离开，该算法仍能保持性能，无需用户数量估计或预先约定。
• 通过强制执行长度为 $t^\beta$ 的随机不可用期，该方法有效防止了持续碰撞，确保高收益动作的公平且渐进的重新访问。