[论文解读] A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access

Chen Zhong, Ziyang Lu+2 more|arXiv (Cornell University)|Aug 20, 2019

Cognitive Radio Networks and Spectrum Sensing参考文献 36被引用 6

一句话总结

本文提出了一种用于单用户和多用户场景下动态多信道接入的深度演员-critic强化学习框架，无需事先了解信道动态特性，即可实现高效、自适应的信道选择。该框架在性能上表现优异，推理速度相比DQN最高提升93%，尤其在大规模动作空间（如64个信道）下表现出良好可扩展性，得益于无需经验回放的高效策略学习。

ABSTRACT

To make efficient use of limited spectral resources, we in this work propose a deep actor-critic reinforcement learning based framework for dynamic multichannel access. We consider both a single-user case and a scenario in which multiple users attempt to access channels simultaneously. We employ the proposed framework as a single agent in the single-user case, and extend it to a decentralized multi-agent framework in the multi-user scenario. In both cases, we develop algorithms for the actor-critic deep reinforcement learning and evaluate the proposed learning policies via experiments and numerical results. In the single-user model, in order to evaluate the performance of the proposed channel access policy and the framework's tolerance against uncertainty, we explore different channel switching patterns and different switching probabilities. In the case of multiple users, we analyze the probabilities of each user accessing channels with favorable channel conditions and the probability of collision. We also address a time-varying environment to identify the adaptive ability of the proposed framework. Additionally, we provide comparisons (in terms of both the average reward and time efficiency) between the proposed actor-critic deep reinforcement learning framework, Deep-Q network (DQN) based approach, random access, and the optimal policy when the channel dynamics are known.

研究动机与目标

• 解决在信道状态未知且随时间变化、存在多个竞争用户环境下的动态多信道接入挑战。
• 开发一种无需模型的强化学习框架，可在部分可观测环境下有效运行，即用户仅能观测其接入信道的反馈。
• 与现有的深度Q网络（DQN）方法相比，提升计算效率和可扩展性，尤其在信道数量增加时表现更优。
• 将单智能体框架扩展至去中心化的多智能体设置，使用户在无协调的情况下独立决策。
• 与DQN、随机接入以及在已知动态下的最优策略等基准方法进行性能对比评估。

提出的方法

• 该框架将动态多信道接入建模为部分可观测马尔可夫决策过程（POMDP），其中每个信道根据马尔可夫过程在‘好’与‘坏’状态之间交替变化。
• 采用深度演员-critic架构：演员负责选择动作（即选择接入的信道），评论家通过时序差分学习评估动作价值函数。
• 评论家使用最小二乘时序差分（LSTD）学习方法更新其价值函数估计，从而在无需经验回放的情况下实现稳定策略更新。
• 演员策略通过政策梯度方法沿评论家梯度方向更新，以提升长期奖励。
• 在多用户场景中，该框架被扩展为去中心化的多智能体设置，每个智能体仅基于自身观测和反馈独立学习。
• 该方法通过依赖LSTD进行评论家更新，避免使用经验回放，与DQN相比显著降低了计算开销。

实验结果

研究问题

• RQ1 深度演员-critic框架能否在信道动态未知且随时间变化的单用户动态多信道环境中有效学习最优信道接入策略？
• RQ2 当信道数量扩展至较大规模（如32和64个信道）时，所提出的演员-critic框架在性能和计算效率方面与基于DQN的方法相比表现如何？
• RQ3 该框架在无需重新训练的情况下，对时变信道切换模式的适应能力有多强？
• RQ4 在多个用户同时接入信道的情况下，去中心化的多智能体扩展版本在信道接入准确性和碰撞避免方面表现如何？
• RQ5 在演员-critic框架中，消除经验回放对推理速度和训练稳定性有何影响？

主要发现

• 演员-critic框架在16信道场景下性能与DQN相当，在32和64信道设置下显著优于DQN，展现出更优的可扩展性。
• 与DQN相比，该框架在16信道场景下平均决策运行时间减少90.4%，32信道减少87.0%，64信道减少93.3%，主要得益于经验回放的消除以及基于LSTD的评论家高效更新。
• 该框架在时变环境中展现出强大的自适应能力，能快速而有效地学习新的信道切换模式。
• 在多用户场景中，去中心化框架实现了高信道接入准确率，并有效降低了碰撞概率，即使用户之间无协调机制。
• 计算复杂度分析表明，演员-critic框架的复杂度比约为3/M（其中M为小批量大小），相较于DQN具有显著效率优势，且随M增大而更加明显。
• 该框架在各种切换模式下均保持高性能，对信道动态的不确定性具有鲁棒性，优于随机接入和启发式策略。