[论文解读] A Simple Reinforcement Learning Mechanism for Resource Allocation in LTE-A Networks with Markov Decision Process and Q-Learning

Einar C. Santos|arXiv (Cornell University)|Sep 27, 2017

Advanced Wireless Network Optimization参考文献 6被引用 14

一句话总结

本文提出了一种基于Q-learning的强化学习机制，用于长期演进-高级（LTE-A）网络中的资源分配，将问题建模为马尔可夫决策过程（MDP），根据服务质量（QoS）要求，按业务类别（如视频、语音通信、网页）动态分配资源块（RBs）。该方法在实时视频业务中实现了更高的吞吐量、公平性和更低的延迟，即使在高达100个用户设备（UEs）的高负载条件下，也能保持较低的丢包率和抖动，优于比例公平（Proportional Fair）、轮询（Round Robin）和帧级调度（Frame-Level Scheduling）算法。

ABSTRACT

Resource allocation is still a difficult issue to deal with in wireless networks. The unstable channel condition and traffic demand for Quality of Service (QoS) raise some barriers that interfere with the process. It is significant that an optimal policy takes into account some resources available to each traffic class while considering the spectral efficiency and other related channel issues. Reinforcement learning is a dynamic and effective method to support the accomplishment of resource allocation properly maintaining QoS levels for applications. The technique can track the system state as feedback to enhance the performance of a given task. Herein, it is proposed a simple reinforcement learning mechanism introduced in LTE-A networks and aimed to choose and limit the number of resources allocated for each traffic class, regarding the QoS Class Identifier (QCI), at each Transmission Time Interval (TTI) along the scheduling procedure. The proposed mechanism implements a Markov Decision Process (MDP) solved by the Q-Learning algorithm to find an optimal action-state decision policy. The results obtained from simulation exhibit good performance, especially for the real-time Video application.

研究动机与目标

• 解决在信道条件波动和多样化QoS需求下，LTE-A网络中动态资源分配的挑战。
• 开发一种简单、无需模型的强化学习机制，根据业务类别和QoS指标实时自适应调整资源分配。
• 在保障语音和尽力而为数据服务的公平性与性能的同时，提升实时应用（如视频流媒体）的QoS。
• 在吞吐量、延迟、抖动、公平性和丢包率等方面，将该机制与标准调度算法（PF、RR、FLS）进行对比评估。

提出的方法

• 将资源分配问题建模为有限时域马尔可夫决策过程（MDP），其中状态表示系统状态，动作表示每类业务分配的RB数量。
• 采用Q-Learning算法学习最优策略，将状态映射到动作，以基于QoS反馈最大化长期累积奖励。
• 奖励通过每类业务的吞吐量、延迟、抖动和丢包率的组合计算，QoS表现越好，奖励越高。
• 算法使用学习率（α = 0.2）、折扣因子（γ = 0.75）和ε-贪婪探索（ε = 0.1）来平衡探索与利用。
• 系统状态在每个传输时间间隔（TTI）更新，动作根据当前Q表选择，以将RB分配给用户。
• 在包含多个用户（UEs）、业务类别（视频、语音通信、网页）和不同负载条件的系统级仿真中评估该机制。

实验结果

研究问题

• RQ1 无模型强化学习方法是否能在动态QoS约束下有效优化LTE-A网络中的资源分配？
• RQ2 所提出的MDP-Q-learning机制在实时业务的QoS指标方面，与传统调度算法（PF、RR、FLS）相比表现如何？
• RQ3 在高用户负载下，该机制在视频和语音通信应用中维持公平性以及低延迟/抖动的程度如何？
• RQ4 该机制能否在不损害实时服务质量的前提下，为尽力而为的网页业务保持足够的性能？

主要发现

• 当有40个UE时，MDP-QL机制在超过60%的用户中保持平均视频吞吐量高于400 Kbps，优于PF、RR和FLS。
• 在最多50个UE时，MDP-QL维持了所需的视频吞吐量，并将丢包率控制在所有其他算法之下。
• MDP-QL的公平性指数在60个UE以内超过0.9，且在该数量以上仍高于其他算法，表明实现了均衡的资源分配。
• MDP-QL在所有场景中均实现了最低的平均抖动，其值始终低于其他算法。
• 尽管在50个UE以上后平均延迟有所上升，但仍在视频应用可接受的范围内。
• 该机制对网页业务的支持性能优于FLS，后者甚至在低负载下也未能满足需求，体现出良好的自适应能力。