[论文解读] Evolution Toward 6G Wireless Networks: A Resource Management Perspective

Mehdi Rasti, Shiva Kazemi Taskou+2 more|arXiv (Cornell University)|Aug 14, 2021

Telecommunications and Broadcasting Technologies参考文献 11被引用 11

一句话总结

该论文提出了一种基于双值深度Q学习（DuelDQN）的联合网络选择与子信道分配（JNSA）框架，适用于支持进一步增强的移动宽带（FeMBB）和极致可靠低时延通信（eURLLC）的6G多频段网络。与DQN和Double DQN相比，该方法实现了更快的收敛速度和更优的鲁棒性，在动态、多频段环境中表现出接近最优的性能，具有高 spectral efficiency（频谱效率）以及对信道状态信息误差和用户移动性的强适应能力。

ABSTRACT

In this article, we first present the vision, key performance indicators, key enabling techniques (KETs), and services of 6G wireless networks. Then, we highlight a series of general resource management (RM) challenges as well as unique RM challenges corresponding to each KET. The unique RM challenges in 6G necessitate the transformation of existing optimization-based solutions to artificial intelligence/machine learning-empowered solutions. In the sequel, we formulate a joint network selection and subchannel allocation problem for 6G multi-band network that provides both further enhanced mobile broadband (FeMBB) and extreme ultra reliable low latency communication (eURLLC) services to the terrestrial and aerial users. Our solution highlights the efficacy of multi-band network and demonstrates the robustness of dueling deep Q-learning in obtaining efficient RM solution with faster convergence rate compared to deep-Q network and double deep Q-network algorithms.

研究动机与目标

• 应对6G网络中由于多频段、多层和异构服务需求带来的资源管理（RM）复杂性日益增加的问题。
• 克服传统基于优化的RM解决方案在处理动态、高维6G网络环境时的局限性。
• 开发一种基于机器学习的RM框架，支持在多频段网络架构中FeMBB与eURLLC服务的共存。
• 评估深度强化学习（DRL）方法——特别是DuelDQN——相较于传统DRL算法在收敛速度和鲁棒性方面的性能表现。
• 在真实网络条件下，证明多频段网络（MBN）在提升频谱效率和支持多样化QoS需求方面的有效性。

提出的方法

• 为支持FeMBB和eURLLC用户的6G多频段网络（MBN）制定联合网络选择与子信道分配（JNSA）问题。
• 将网络建模为马尔可夫决策过程（MDP），其状态空间包括用户位置、信道状况和资源可用性。
• 实现三种DRL算法——深度Q网络（DQN）、Double DQN和双值DQN（DuelDQN）——以学习最优的网络选择与子信道分配策略。
• 利用DuelDQN的优势值分解机制，通过解耦状态值函数与优势函数，提升学习稳定性和收敛性。
• 使用经验回放和目标网络训练DRL智能体，以稳定训练过程并减少时间相关性。
• 基于总FeMBB数据速率、eURLLC用户的QoS满足度以及子信道利用效率来定义奖励函数。

实验结果

研究问题

• RQ1 在6G多频段网络的JNSA任务中，DuelDQN相较于DQN和Double DQN在收敛速度和性能稳定性方面表现如何？
• RQ2 多频段网络（MBN）架构在多大程度上提升了频谱效率并支持了FeMBB与eURLLC服务的共存？
• RQ3 在不完美信道状态信息（CSI）和用户移动性条件下，基于DuelDQN的RM解决方案的鲁棒性如何？
• RQ4 FeMBB和eURLLC用户数量增加对总数据速率和系统可行性有何影响？
• RQ5 在动态、高维的6G网络场景中，DRL-based RM解决方案是否能优于传统优化方法？

主要发现

• DuelDQN相较于DQN和Double DQN收敛速度显著更快，在更少的训练轮次内即达到稳定性能。
• DuelDQN实现了接近最优的性能，与Mosek优化解相比性能损失小于5%。
• 与单频段网络（SBN）相比，多频段网络（MBN）模型支持更高的总FeMBB数据速率，尤其在高用户负载下表现更优。
• 随着FeMBB用户数量的增加，总FeMBB数据速率上升，但当FeMBB用户超过20人时，DuelDQN-SC因子信道资源限制而变得不可行。
• 在CSI误差条件下，DuelDQN方法保持的速率高于最优解，表明其对信道估计不准确具有更强的鲁棒性。
• 在用户移动性（2 m/s）条件下，DuelDQN表现出远低于最优解的数据速率退化，表明其对动态网络条件具有极强的适应能力。