[论文解读] Actor-Critic Deep Reinforcement Learning for Dynamic Multichannel Access

Chen Zhong, Ziyang Lu+2 more|arXiv (Cornell University)|Oct 8, 2018

Age of Information Optimization参考文献 9被引用 5

一句话总结

本文提出了一种无模型的演员-评论家深度强化学习框架，用于部分可观测马尔可夫决策过程（POMDP）中的动态多通道接入。通过利用自然策略梯度并消除经验回放，该框架在时间效率和可扩展性方面表现优异，运行时间优于DQN，并在16、32和64通道场景下，面对不同切换模式时展现出强大的适应性和性能。

ABSTRACT

We consider the dynamic multichannel access problem, which can be formulated as a partially observable Markov decision process (POMDP). We first propose a model-free actor-critic deep reinforcement learning based framework to explore the sensing policy. To evaluate the performance of the proposed sensing policy and the framework's tolerance against uncertainty, we test the framework in scenarios with different channel switching patterns and consider different switching probabilities. Then, we consider a time-varying environment to identify the adaptive ability of the proposed framework. Additionally, we provide comparisons with the Deep-Q network (DQN) based framework proposed in [1], in terms of both average reward and the time efficiency.

研究动机与目标

• 解决在未知、时变环境中，对信道状态转移缺乏先验知识的动态多通道接入问题。
• 开发一种可扩展的深度强化学习框架，能够在不依赖先验信道模型的前提下，处理多达64个相关信道。
• 与现有的基于DQN的方法相比，提升时间效率并降低计算开销。
• 评估该框架在任意且时变的信道切换模式下的鲁棒性。
• 展示当环境动态发生意外变化时，框架的自适应学习能力。

提出的方法

• 该框架将动态多通道接入建模为具有N个相关信道的POMDP，每个信道通过马尔可夫过程在好状态和坏状态之间切换。
• 采用基于独立神经网络的自然演员-评论家算法，分别用于策略（演员）和价值函数（评论家），实现无需经验回放的在线策略学习。
• 评论家使用最小二乘时序差分（LSTD）学习方法来估计价值函数，确保在低计算开销下实现稳定的策略更新。
• 智能体根据观测结果在每个时间步选择一个信道，若在好信道上成功传输则获得奖励，并使用策略梯度方法更新策略。
• 该框架以端到端的无模型方式训练，直接从环境反馈中学习感知策略。
• 通过避免回放缓冲区并利用在线策略更新，显著提升了运行时效率，降低了每次决策的计算时间。

实验结果

研究问题

• RQ1 无模型的演员-评论家深度强化学习框架是否能在缺乏先验信道模型的大规模多通道环境中有效学习最优感知策略？
• RQ2 在16、32和64个信道下，该框架与DQN相比在平均奖励和学习效率方面表现如何？
• RQ3 该框架在时变环境中对信道切换模式的突发变化具备多大程度的适应能力？
• RQ4 在实时多通道接入场景中，演员-评论家方法相比DQN的运行时性能提升有多大？
• RQ5 该框架对任意且非平稳的信道切换顺序具有多强的鲁棒性？

主要发现

• 演员-评论家框架在16信道场景下实现了具有竞争力的平均奖励，且在32和64信道设置下显著优于DQN。
• 与DQN相比，该框架在16信道上将平均决策运行时间降低了90.4%，在32信道上降低了87.0%，在64信道上降低了93.3%。
• 在时变环境中，该框架在t=500处发生切换点后约500个时间步内即可适应新的信道模式，并恢复到原有的性能水平。
• 在10种不同的任意切换顺序下，该框架均保持了稳定性能，表明其对不确定性具有强容忍度，并具备出色的无模型学习能力。
• 由于未使用经验回放并采用基于LSTD的评论家学习，显著降低了计算负载，提升了时间效率。
• 演员-评论家结构支持在高维动作空间中的可扩展学习，使其适用于大规模多通道接入系统。