[论文解读] Cognitive Medium Access: Exploration, Exploitation and Competition

Lifeng Lai, Hesham El Gamal+2 more|ArXiv.org|Oct 6, 2007

Cognitive Radio Networks and Spectrum Sensing参考文献 16被引用 24

一句话总结

本文将认知介质接入建模为竞争性多臂赌博机问题，提出一种贝叶斯方法以在频谱感知中平衡探索与利用。它引入了一种低复杂度、渐近最优的单用户与多用户场景策略，实现 $O(\ln T)$ 的遗憾，且将该框架扩展至可同时感知的多信道接入。

ABSTRACT

This paper establishes the equivalence between cognitive medium access and the competitive multi-armed bandit problem. First, the scenario in which a single cognitive user wishes to opportunistically exploit the availability of empty frequency bands in the spectrum with multiple bands is considered. In this scenario, the availability probability of each channel is unknown to the cognitive user a priori. Hence efficient medium access strategies must strike a balance between exploring the availability of other free channels and exploiting the opportunities identified thus far. By adopting a Bayesian approach for this classical bandit problem, the optimal medium access strategy is derived and its underlying recursive structure is illustrated via examples. To avoid the prohibitive computational complexity of the optimal strategy, a low complexity asymptotically optimal strategy is developed. The proposed strategy does not require any prior statistical knowledge about the traffic pattern on the different channels. Next, the multi-cognitive user scenario is considered and low complexity medium access protocols, which strike the optimal balance between exploration and exploitation in such competitive environments, are developed. Finally, this formalism is extended to the case in which each cognitive user is capable of sensing and using multiple channels simultaneously.

研究动机与目标

• 通过将认知介质接入建模为竞争性多臂赌博机问题，建立统一的框架。
• 在贝叶斯设定下，解决探索（学习信道可用性）与利用（使用已知最佳信道）之间的基本权衡。
• 为单用户与多认知用户场景设计低复杂度、渐近最优的介质接入协议。
• 将该框架扩展至多信道接入，允许用户同时感知和利用多个信道。
• 确保所提出的协议对未知主用户流量统计和竞争性干扰具有鲁棒性。

提出的方法

• 将认知频谱接入建模为具有未知信道可用概率的贝叶斯多臂赌博机问题。
• 通过递归贝叶斯更新推导最优介质接入策略，以平衡探索与利用。
• 提出一种低复杂度的单索引协议，渐近地达到遗憾的下界，其预期次优信道选择次数为 $O(\ln T)$。
• 为多用户环境引入竞争性赌博机公式，考虑干扰与信道选择的公平性。
• 应用集中不等式（如霍夫丁不等式）以界定次优信道选择的概率，并推导遗憾边界。
• 通过将赌博机公式推广至允许多个信道同时探测，将框架扩展至多信道感知。

实验结果

研究问题

• RQ1 当主用户信道可用概率未知时，认知用户如何最优地平衡探索与利用？
• RQ2 在单用户认知接入场景中，由于学习信道统计而引起的吞吐量损失的基本极限是什么？
• RQ3 如何设计在未知信道统计的多用户竞争环境中既高效又公平的介质接入协议？
• RQ4 多信道感知能力对认知介质接入协议的设计与性能有何影响？
• RQ5 在缺乏对主用户流量模式先验知识的情况下，低复杂度策略能否实现遗憾的渐近最优性？

主要发现

• 通过贝叶斯方法推导出最优认知介质接入策略，其具有递归结构，可有效平衡探索与利用。
• 提出一种低复杂度的单索引协议，渐近地达到遗憾的理论下界，其预期次优信道选择次数为 $O(\ln T)$。
• 所提策略的遗憾被限制在 $O(\ln T)$，与先前工作中为一致策略建立的基本下界相符。
• 在多用户环境中，该框架支持设计具有博弈论公平性的协议，同时考虑竞争并保持渐近最优性。
• 分析表明，对于非最优 $M$ 个信道中的任意一个，其被选择的期望次数为 $O(\ln T)$，证实了渐近最优性。
• 所提策略无需主用户流量的先验统计知识，因此对实际部署具有鲁棒性和实用性。