[论文解读] Deep Reinforcement Learning for URLLC data management on top of scheduled eMBB traffic

Fabio Saggese, Luca Pasqualini+2 more|arXiv (Cornell University)|Jan 1, 2021

Wireless Communication Security Techniques参考文献 17被引用 25

一句话总结

该论文提出基于 PPO 的 DRL Agent 动态对 eMBB 资源进行打孔以容纳 URLLC 流量，同时满足 URLLC 延迟和可靠性约束。

ABSTRACT

With the advent of 5G and the research into beyond 5G (B5G) networks, a novel and very relevant research issue is how to manage the coexistence of different types of traffic, each with very stringent but completely different requirements. In this paper we propose a deep reinforcement learning (DRL) algorithm to slice the available physical layer resources between ultra-reliable low-latency communications (URLLC) and enhanced Mobile BroadBand (eMBB) traffic. Specifically, in our setting the time-frequency resource grid is fully occupied by eMBB traffic and we train the DRL agent to employ proximal policy optimization (PPO), a state-of-the-art DRL algorithm, to dynamically allocate the incoming URLLC traffic by puncturing eMBB codewords. Assuming that each eMBB codeword can tolerate a certain limited amount of puncturing beyond which is in outage, we show that the policy devised by the DRL agent never violates the latency requirement of URLLC traffic and, at the same time, manages to keep the number of eMBB codewords in outage at minimum levels, when compared to other state-of-the-art schemes.

研究动机与目标

• 在共享资源网格上解决 URLLC 与 eMBB 流量的共存问题。
• 开发一个基于 DRL 的调度器，决定何时以及在何处传输 URLLC 数据包，同时不违反 URLLC 延迟。
• 通过学习 puncturing 策略在 URLLC 调度中提供一定的松弛，以降低对 eMBB 的影响。
• 用带有 puncturing 容忍度的 eMBB 码字来建模，以在 URLLC 打孔下维持可靠性。

提出的方法

• 将系统建模为一个马尔可夫决策过程，状态包含 URLLC 队列、延迟松弛和 eMBB 码字中断。
• 使用近端策略优化（PPO）作为策略梯度 DRL 方法来学习传输决策。
• 将行动表示为选择用于 URLLC 传输的频率资源，或在一个微时段内选择不传输。
• 定义一个奖励，惩罚 eMBB 中断和 URLLC 延迟违规，以在两种切片之间实现平衡。
• 提供一个带有独立策略网络和值网络的 PPO 神经网络架构。

实验结果

研究问题

• RQ1 基于 DRL 的调度器能否学习对 eMBB 资源进行 puncturing 以容纳 URLLC 而不违反 URLLC 延迟要求？
• RQ2 在 URLLC 延迟保证和 eMBB 中断率方面，PPO 训练的智能体与启发式方案相比如何？
• RQ3 学习到的策略是否能在不同的 URLLC 到达率和码字 puncturing 配置下泛化？

主要发现

• 在评估的 URLLC 到达率下，PPO 智能体在总体奖励方面优于启发式方案。
• PPO 策略在满足 URLLC 延迟约束的同时尽量减少 eMBB 码字中断。
• 学习到的策略在不同的剧本长度和码字分布下无需再训练即可实现泛化。
• 随机方案有时因延迟违规而显示出更低的中断百分比，这一点 PPO 避免了。
• 即使码字具有异质化的 puncturing 容忍度（C_w ∈ {0,1}），PPO 仍保持强劲性能。
• 结果表明该方法在不重新训练的情况下可扩展到更长的时域。