[论文解读] EdgeRIC: Empowering Realtime Intelligent Optimization and Control in NextG Networks

Woo-Hyun Ko, Ushasi Ghosh+4 more|arXiv (Cornell University)|Apr 21, 2023

Energy Efficient Wireless Sensor Networks被引用 4

一句话总结

本文提出 RICworld，一个用于下一代网络的实时智能控制平台，包含 EdgeRIC——一种低时延、边缘部署的微服务，用于实现亚毫秒级策略执行；以及 DigitalTwin——一种全栈仿真器，用于离线训练人工智能策略。与基于云的 RIC 和传统调度相比，EdgeRIC 实现了 5%–25% 更高的吞吐量并减少了视频卡顿，证明了在 5G 网络中实现亚毫秒级、应用感知的跨层优化的可行性。

ABSTRACT

Radio Access Networks (RAN) are increasingly softwarized and accessible via data-collection and control interfaces. RAN intelligent control (RIC) is an approach to manage these interfaces at different timescales. In this paper, we develop a RIC platform called RICworld, consisting of (i) EdgeRIC, which is colocated, but decoupled from the RAN stack, and can access RAN and application-level information to execute AI-optimized and other policies in realtime (sub-millisecond) and (ii) DigitalTwin, a full-stack, trace-driven emulator for training AI-based policies offline. We demonstrate that realtime EdgeRIC operates as if embedded within the RAN stack and significantly outperforms a cloud-based near-realtime RIC (> 15 ms latency) in terms of attained throughput. We train AI-based polices on DigitalTwin, execute them on EdgeRIC, and show that these policies are robust to channel dynamics, and outperform queueing-model based policies by 5% to 25% on throughput and application-level benchmarks in a variety of mobile environments.

研究动机与目标

• 解决 TTI 级无线接入网（RAN）操作（1 ms）与现有近实时或非实时 RIC 解决方案（10 ms 至数秒）之间的时延不匹配问题。
• 实现 5G 网络中实时、应用感知的跨层优化，以满足增强现实/虚拟现实（AR/VR）、工业物联网和流媒体服务对严格 QoE 要求。
• 开发一种平台，将智能控制与 RAN 堆栈解耦，同时保持亚毫秒级响应速度和故障容错能力。
• 通过空中实验验证基于强化学习（RL）的策略在实时资源分配中端到端部署的可行性。
• 实现 AI 优化策略在多样化 RAN 堆栈和多用户场景下的稳健、可扩展且可扩展的部署。

提出的方法

• 将 EdgeRIC 作为与 RAN 同驻的解耦微服务部署在边缘计算节点上，通过标准化的 O-RAN 类接口访问实时 RAN 和应用层状态。
• 通过与 RAN 的 1 ms TTI 同步，实现亚毫秒级延迟的实时控制环路，支持策略的即时执行。
• 设计容错架构，当 EdgeRIC 信号缺失时自动回退至默认 RAN 调度，确保系统稳定性。
• 开发 DigitalTwin 作为全栈、基于追踪的仿真器，用于离线训练 AI 策略，模拟具有真实信道动态的多用户、多应用环境。
• 在 DigitalTwin 上使用基于优势的策略梯度（PPO）算法训练深度强化学习（PPO）智能体，奖励函数对视频卡顿施加惩罚（−20），对平稳播放施加奖励（+2），状态输入包括信道质量指示（CQI）、队列长度和媒体缓冲区大小。
• 在 EdgeRIC 上部署训练好的 RL 策略，用于空中实验中的实时执行，采用 24fps 视频流，缓冲区状态每 40ms 更新一次，上行链路延迟模拟为 20ms。

实验结果

研究问题

• RQ1 解耦的、基于边缘的 RIC 是否能在与时间敏感的 RAN 操作隔离的前提下实现亚毫秒级控制延迟？
• RQ2 在类似 DigitalTwin 的全栈仿真器中训练的 AI 优化策略，在具有动态信道条件的真实无线环境中，其泛化能力如何？
• RQ3 与传统 RAN 调度和基于云的 RIC 相比，通过 EdgeRIC 实现的实时、应用感知控制在吞吐量和视频卡顿等 QoE 指标上的表现如何？
• RQ4 EdgeRIC 在支持大量用户和多个基站的多租户环境中的可扩展性如何？
• RQ5 联邦学习是否能有效协调多个基站上的 EdgeRIC 实例，同时保持隐私和性能？

主要发现

• EdgeRIC 实现了亚毫秒级控制延迟，支持在 TTI 时隙（1 ms）级别实现实时策略执行，显著优于延迟高达 15 ms 或以上的基于云的近实时 RIC。
• 在真实无线环境的空中实验中，RL 训练的策略将 30 秒播放时间内的总视频卡顿时长减少至 2.3–2.6 秒，相比最大权重（5.4 秒）和比例公平（4.2 秒）基线减少了 65%。
• RL 策略保持了稳定的媒体缓冲，为高优先级流实现了每用户约 7.5 Mbps 的平均吞吐量，表现出对信道变化的鲁棒性。
• RL 智能体在 DigitalTwin 中仅用十轮训练迭代即收敛至最优策略，表明所提出的状态-动作-奖励建模方式具有高效的学习能力。
• EdgeRIC 在 RAN 到 EdgeRIC 的延迟约为 100 μs 的条件下，成功处理了最多 100 个用户设备（UE）的控制消息，表明其具备可扩展潜力，尽管当前实验存在限制。
• 该平台证明，通过实时 AI 实现的应用感知、跨层控制可使系统吞吐量相比基于排队模型的策略在多样化移动环境中提升 5% 至 25%。