[论文解读] Deep Reinforcement Learning for Dynamic Multichannel Access in Wireless Networks

Shangxing Wang, Hanpeng Liu+2 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Wireless Network Optimization参考文献 26被引用 19

一句话总结

本文提出了一种深度Q网络（DQN）框架，用于在具有相关信道和未知系统动态的无线网络中实现动态多信道接入。通过利用深度强化学习，DQN在无需事先了解信道统计特性的情况下，通过在线交互学习最优信道选择策略，在模拟环境和基于真实信道轨迹的场景中均实现了接近最优的性能，包括通过自适应DQN扩展实现的时变环境。

ABSTRACT

We consider a dynamic multichannel access problem, where multiple correlated channels follow an unknown joint Markov model. A user at each time slot selects a channel to transmit data and receives a reward based on the success or failure of the transmission. The objective is to find a policy that maximizes the expected long-term reward. The problem is formulated as a partially observable Markov decision process (POMDP) with unknown system dynamics. To overcome the challenges of unknown system dynamics as well as prohibitive computation, we apply the concept of reinforcement learning and implement a Deep Q-Network (DQN) that can deal with large state space without any prior knowledge of the system dynamics. We provide an analytical study on the optimal policy for fixed-pattern channel switching with known system dynamics and show through simulations that DQN can achieve the same optimal performance without knowing the system statistics. We compare the performance of DQN with a Myopic policy and a Whittle Index-based heuristic through both simulations as well as real-data trace and show that DQN achieves near-optimal performance in more complex situations. Finally, we propose an adaptive DQN approach with the capability to adapt its learning in time-varying, dynamic scenarios.

研究动机与目标

• 解决信道相关且系统动态未知的无线网络中的动态多信道接入问题。
• 克服因系统转移动态未知而导致的底层部分可观察马尔可夫决策过程（POMDP）求解的计算复杂度过高问题。
• 开发一种基于强化学习的解决方案，直接从观测值和奖励中学习最优信道接入策略。
• 通过合成仿真和真实无线电轨迹数据，在复杂的真实场景中评估性能。
• 设计一种自适应DQN框架，能够在非平稳、时变环境中检测变化并重新学习策略。

提出的方法

• 将多信道接入问题建模为具有N个相关信道联合马尔可夫模型的不完全可观测马尔可夫决策过程（POMDP）。
• 实现一种深度Q网络（DQN），以原始信道状态观测为输入，输出信道选择动作的Q值。
• 通过与环境的在线交互训练DQN，利用经验回放和目标网络来稳定学习过程。
• 设计一种自适应DQN变体，能够检测环境变化，并通过在线微调重新训练策略。
• 在仿真和真实轨迹数据实验中，将DQN性能与贪心策略和Whittle索引启发式方法进行对比。
• 使用基于IEEE 802.15.4系统的实际信道活动轨迹，验证在实际干扰条件下的性能表现。

实验结果

研究问题

• RQ1 在信道动态未知且相关的多信道系统中，DQN智能体能否学习到最优或接近最优的信道接入策略？
• RQ2 在复杂且相关的信道环境中，DQN性能与Myopic和Whittle索引等传统启发式方法相比如何？
• RQ3 DQN框架能否泛化到具有非独立同分布和相关活动模式的真实信道轨迹？
• RQ4 自适应DQN能否检测环境变化，并在非平稳动态场景中重新学习最优策略？
• RQ5 在存在潜在干扰的多用户环境中，DQN方法的可扩展性和鲁棒性如何？

主要发现

• 尽管缺乏系统统计特性的先验知识，DQN在固定模式信道切换场景中仍能达到与理想信息（genie-aided）策略相同的最优性能。
• 在复杂且相关的信道环境中，DQN在平均折扣奖励方面优于贪心策略和基于Whittle索引的启发式方法。
• 通过真实轨迹数据评估，DQN在Wi-Fi、蓝牙和微波炉等实际非平稳干扰模式下仍能保持接近最优的性能。
• 自适应DQN框架成功检测到信道动态变化，并在时变环境中重新学习最优策略，表现出对非平稳性的强鲁棒性。
• 在最多四名用户和八条信道的多用户场景中，DQN保持了优异性能，表明其在小规模多用户环境中的可扩展性。
• 作者已将信道模型和真实世界轨迹数据在线发布，以支持未来研究的可复现性和基准测试。