[论文解读] Deep Reinforcement Learning for Scheduling in Cellular Networks

Jian Wang, Xu Chen+4 more|arXiv (Cornell University)|May 15, 2019

Advanced MIMO Systems Optimization参考文献 10被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的蜂窝网络调度器，通过整合专家知识以提升训练效率与性能。该方法并未取代传统的比例公平（PF）调度器，而是引入一个AI调度器，使其从PF算法或双DRL智能体中学习，相比直接进行DRL训练，实现了更快的收敛速度和接近最优的公平性-吞吐量权衡。

ABSTRACT

Integrating artificial intelligence (AI) into wireless networks has drawn significant interest in both industry and academia. A common solution is to replace partial or even all modules in the conventional systems, which is often lack of efficiency and robustness due to their ignoring of expert knowledge. In this paper, we take deep reinforcement learning (DRL) based scheduling as an example to investigate how expert knowledge can help with AI module in cellular networks. A simulation platform, which has considered link adaption, feedback and other practical mechanisms, is developed to facilitate the investigation. Besides the traditional way, which is learning directly from the environment, for training DRL agent, we propose two novel methods, i.e., learning from a dual AI module and learning from the expert solution. The results show that, for the considering scheduling problem, DRL training procedure can be improved on both performance and convergence speed by involving the expert knowledge. Hence, instead of replacing conventional scheduling module in the system, adding a newly introduced AI module, which is capable to interact with the conventional module and provide more flexibility, is a more feasible solution.

研究动机与目标

• 探究专家知识如何提升无线网络调度中DRL训练的性能。
• 比较直接DRL训练、双智能体训练与基于专家知识的训练方法。
• 评估在不替换传统调度器的前提下，引入AI调度器是否更具可行性。
• 构建一个包含实际机制（如AMC和反馈）的现实仿真平台。
• 证明AI调度器的集成可在不损害系统稳定性的情况下提升系统灵活性与适应性。

提出的方法

• 构建了一个仿真平台，以模拟包括链路自适应、反馈机制和信道变化在内的真实蜂窝网络动态特性。
• 评估了三种训练方法：直接DRL训练、双DRL智能体训练（相互学习）以及基于PF算法的专家知识蒸馏。
• DRL智能体采用双值DQN架构，包含320个神经元的全连接层，激活函数为ReLU；策略网络中使用softmax。
• 奖励函数通过加权系数α和β平衡吞吐量与公平性，性能以PF基准为参考进行归一化。
• 通过28个并行仿真器进行训练，以提升收敛速度与泛化能力。
• 将PF算法作为参考专家策略，通过模仿学习在专家学习方法中引导DRL智能体。

实验结果

研究问题

• RQ1 DRL能否在具有实际约束的现实蜂窝网络环境中有效学习调度策略？
• RQ2 整合专家知识（如PF算法）对DRL训练的收敛速度与性能有何影响？
• RQ3 与单智能体直接学习相比，双智能体训练是否能提升收敛性能？
• RQ4 是否可以在传统PF调度器持续运行的同时在线训练AI调度器，以确保系统稳定性？
• RQ5 基于DRL的调度中，吞吐量与公平性之间的权衡是什么？如何实现优化？

主要发现

• 直接DRL训练在约1000次更新后收敛，但在非平稳信道条件下难以达到PF算法的公平性水平。
• 双智能体相互学习在约2000次更新后收敛至接近最优性能，避免了局部最优解，但训练速度较慢。
• 专家知识蒸馏使DRL智能体在约1000次更新内收敛至接近最优性能，并在约4000次更新时完全匹配PF性能。
• 专家学习方法在训练速度与最终性能之间实现了最佳平衡，显著优于直接学习方法在收敛速度与公平性方面的表现。
• 结果支持通过增加AI模块来增强传统调度器，而非完全替换，从而确保系统鲁棒性与适应性。
• 本研究证明，在DRL训练中整合专家知识可显著提升无线调度的效率与性能。