[论文解读] Intelligence and Learning in O-RAN for Data-driven NextG Cellular Networks

Leonardo Bonati, Salvatore D’Oro+3 more|arXiv (Cornell University)|Dec 2, 2020

Advanced MIMO Systems Optimization参考文献 14被引用 282

一句话总结

该论文首次在基于O-RAN的软件定义蜂窝网络中，通过Colosseum仿真平台实现了大规模、端到端的数据驱动深度强化学习（DRL）智能体集成。通过在近实时RAN智能控制器（RIC）上部署DRL xApps，系统实现了网络切片的动态闭环优化，与静态调度策略相比，频谱效率最高提升20%，缓冲区占用率最高降低37%。

ABSTRACT

Next Generation (NextG) cellular networks will be natively cloud-based and built upon programmable, virtualized, and disaggregated architectures. The separation of control functions from the hardware fabric and the introduction of standardized control interfaces will enable the definition of custom closed-control loops, which will ultimately enable embedded intelligence and real-time analytics, thus effectively realizing the vision of autonomous and self-optimizing networks. This article explores the disaggregated network architecture proposed by the O-RAN Alliance as a key enabler of NextG networks. Within this architectural context, we discuss the potential, the challenges, and the limitations of data-driven optimization approaches to network control over different timescales. We also present the first large-scale integration of O-RAN-compliant software components with an open-source full-stack softwarized cellular network. Experiments conducted on Colosseum, the world's largest wireless network emulator, demonstrate closed-loop integration of real-time analytics and control through deep reinforcement learning agents. We also show the feasibility of Radio Access Network (RAN) control through xApps running on the near real-time RAN Intelligent Controller, to optimize the scheduling policies of co-existing network slices, leveraging the O-RAN open interfaces to collect data at the edge of the network.

研究动机与目标

• 验证在O-RAN架构下，通过数据驱动的闭环控制在下一代（NextG）蜂窝网络中部署的可行性。
• 解决通过开放接口和分布式智能部署实现智能、实时RAN控制所面临的挑战。
• 展示可扩展、拓扑无关的DRL智能体，可在多种业务类型（eMBB、URLLC、MTC）下优化网络切片。
• 在真实、大规模无线仿真环境中，评估基于DRL的调度策略相较于固定策略（RR、WF、PF）的性能表现。
• 为未来在自治、自优化6G网络领域的研究，提供可复现、开源的测试平台框架。

提出的方法

• 在Colosseum——一个大规模无线网络仿真平台——上部署符合O-RAN标准的软件组件，以模拟包含4个SDR基站和40个SDR用户设备的完整软件化蜂窝网络。
• 在近实时RIC上实现DRL智能体作为xApps，采用近端策略优化（PPO）进行离线训练和在线推理。
• 通过O-RAN E2接口，利用RIC指示消息（每用户设备每秒72字节开销）实时采集性能指标（如频谱效率、缓冲区大小、SINR）。
• 通过神经网络编码器进行降维处理，将可变大小的输入（如每个切片中的多个用户设备）转换为固定大小的状态表示。
• 将DRL动作映射到调度策略（RR、WF、PF），并采用切片特定的奖励机制：eMBB/MTC切片以吞吐量最大化为目标，URLLC切片以时延最小化为目标。
• 在非实时RIC中训练智能体，并将其部署至近实时RIC中实现闭环控制，从而实现实时动态网络状态自适应。

实验结果

研究问题

• RQ1 能否在符合O-RAN标准的开放架构下一代蜂窝网络中，有效实现基于DRL智能体的数据驱动闭环控制？

主要发现

• 与最佳静态调度策略（WF）相比，基于DRL的控制系统在eMBB切片中实现了高达20%的下行链路频谱效率提升。
• 与RR策略相比，DRL控制使URLLC切片的缓冲区占用率平均降低37%；与PF策略相比，降低17%。
• DRL智能体根据资源可用性和网络状态动态选择调度策略，eMBB和MTC智能体在大多数条件下以99%的概率选择WF策略。
• DRL智能体表现出拓扑无关性，即每个基站仅控制一个切片，且在不同网络拓扑或用户设备数量下无需重新训练。
• 通过高效的E2接口消息传递和状态编码，系统实现了低控制环路开销（每用户设备72字节/秒），支持实时自适应能力。
• 实验结果证实，与所有评估的关键性能指标相比，动态、数据驱动的调度策略均优于固定策略，验证了自治、自优化RAN的可行性。