[论文解读] Dynamic Spectrum Access with Statistical QoS Provisioning: A Distributed Learning Approach Beyond Expectation Optimization.

Yuhua Xu, Jinlong Wang+4 more|arXiv (Cornell University)|Feb 24, 2015

Cognitive Radio Networks and Spectrum Sensing参考文献 59被引用 6

一句话总结

本文提出一种用于时变信道中动态频谱接入的分布式多智能体学习方法，采用有效容量作为统计QoS度量，以解决超出预期优化的延迟违反问题。证明该系统为具有纯策略纳什均衡的序数潜在博弈，并通过在不确定和不完全信息条件下的仿真验证了其收敛性和优异性能。

ABSTRACT

This article investigates the problem of dynamic spectrum access with statistical quality of service (QoS) provisioning for dynamic canonical networks, in which the channel states are time-varying from slot to slot. In the existing work with time-varying environment, the commonly used optimization objective is to maximize the expectation of a certain metric (e.g., throughput or achievable rate). However, it is realized that expectation alone is not enough since some applications are sensitive to the channel fluctuations. Effective capacity is a promising metric for time-varying service process since it characterizes the packet delay violating probability (regarded as an important statistical QoS index), by taking into account not only the expectation but also other high-order statistic. We formulate the interactions among the users in the time-varying environment as a non-cooperative game, in which the utility function is defined as the achieved effective capacity. We prove that it is an ordinal potential game which has at least one pure strategy Nash equilibrium. In addition, we propose a multi-agent learning algorithm which is proved to achieve stable solutions with uncertain, dynamic and incomplete information constraints. The convergence of the proposed learning algorithm is verified by simulation results. Also, it is shown that the proposed multi-agent learning algorithm achieves satisfactory performance.

研究动机与目标

• 解决在时变信道中基于期望的优化方法的局限性，其中信道波动会影响延迟敏感型应用。
• 引入有效容量作为统计QoS度量，通过引入高阶统计量来捕捉延迟违反概率。
• 将动态频谱接入中的用户交互建模为以有效容量作为效用函数的非合作博弈。
• 证明该博弈为序数潜在博弈，从而保证至少存在一个纯策略纳什均衡。
• 提出一种分布式多智能体学习算法，在动态、不确定和信息不完全的条件下收敛至稳定解。

提出的方法

• 将动态频谱接入问题建模为非合作博弈，其中每个用户的效用由其获得的有效容量定义。
• 使用有效容量作为性能度量，联合考虑平均速率和延迟约束，以捕捉统计QoS需求。
• 通过证明任一用户效用的改进均对应潜在函数的减小，证明该博弈为序数潜在博弈。
• 提出一种分布式多智能体学习算法，使用户能够基于局部观测自适应调整策略，而无需掌握完整系统信息。
• 通过利用潜在博弈结构和采用递减步长的学习规则，在不确定和动态环境中确保学习算法的收敛性。
• 通过在时变信道条件和信息不完全情况下的仿真，验证算法的收敛性和性能。

实验结果

研究问题

• RQ1 在时变信道下，有效容量能否作为动态频谱接入中可行的统计QoS度量？
• RQ2 以有效容量作为效用的博弈论模型是否能在分布式频谱接入中实现稳定均衡？
• RQ3 当用户仅掌握系统部分且不确定的信息时，分布式学习算法能否收敛至稳定解？
• RQ4 与基于期望的优化相比，所提出的学习算法在统计QoS提供方面性能如何？
• RQ5 在非合作、动态频谱接入环境中，能够为收敛性和稳定性提供哪些保证？

主要发现

• 所提出的以有效容量作为效用函数的博弈被证明为序数潜在博弈，确保至少存在一个纯策略纳什均衡。
• 即使在动态、不确定和信息不完全的约束下，所提出的分布式多智能体学习算法仍能收敛至稳定解。
• 仿真结果证实了学习算法在时变信道环境下的收敛性。
• 与基于期望的优化相比，所提出方法在统计QoS提供方面表现出更优性能，尤其在处理延迟敏感型应用方面。
• 通过引入高于均值速率的高阶统计量，有效容量能有效捕捉延迟违反概率。