[论文解读] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

Andrea Lacava, Michele Polese+7 more|arXiv (Cornell University)|Sep 28, 2022

Advanced MIMO Systems Optimization被引用 6

一句话总结

本文提出 ns-O-RAN，一种新颖的框架，将生产级近实时 RIC（RAN Intelligent Controller）与基于 ns-3 的 3GPP 模拟 RAN 相集成，以实现 5G 开放 RAN 网络中用户级流量引导的深度强化学习（DRL）驱动 xApps 的端到端开发与大规模训练。所提出的 xApp 利用随机集成混合（REM）与保守 Q-学习（CQL）算法，并结合卷积神经网络（CNN），在吞吐量和频谱效率方面相比传统切换启发式方法平均提升 50%，同时降低移动性开销。

ABSTRACT

5G and beyond mobile networks will support heterogeneous use cases at an unprecedented scale, thus demanding automated control and optimization of network functionalities customized to the needs of individual users. Such fine-grained control of the Radio Access Network (RAN) is not possible with the current cellular architecture. To fill this gap, the Open RAN paradigm and its specification introduce an open architecture with abstractions that enable closed-loop control and provide data-driven, and intelligent optimization of the RAN at the user level. This is obtained through custom RAN control applications (i.e., xApps) deployed on near-real-time RAN Intelligent Controller (near-RT RIC) at the edge of the network. Despite these premises, as of today the research community lacks a sandbox to build data-driven xApps, and create large-scale datasets for effective AI training. In this paper, we address this by introducing ns-O-RAN, a software framework that integrates a real-world, production-grade near-RT RIC with a 3GPP-based simulated environment on ns-3, enabling the development of xApps and automated large-scale data collection and testing of Deep Reinforcement Learning-driven control policies for the optimization at the user-level. In addition, we propose the first user-specific O-RAN Traffic Steering (TS) intelligent handover framework. It uses Random Ensemble Mixture, combined with a state-of-the-art Convolutional Neural Network architecture, to optimally assign a serving base station to each user in the network. Our TS xApp, trained with more than 40 million data points collected by ns-O-RAN, runs on the near-RT RIC and controls its base stations. We evaluate the performance on a large-scale deployment, showing that the xApp-based handover improves throughput and spectral efficiency by an average of 50% over traditional handover heuristics, with less mobility overhead.

研究动机与目标

• 解决开放 RAN 环境中开发和训练基于人工智能/机器学习的 xApps 所面临的可扩展、数据驱动测试平台缺乏的问题。
• 通过在近实时 RIC 上部署可编程 xApps，实现对 RAN 功能的细粒度、用户级控制。
• 设计并评估一种新型、数据驱动的流量引导框架，基于实时用户与网络状态优化切换决策。
• 通过大规模仿真与真实协议兼容性验证，展示在吞吐量和频谱效率方面的显著性能提升。

提出的方法

• 将生产级近实时 RIC 与基于 ns-3 的 3GPP 兼容 RAN 仿真器集成，构建全栈、符合 O-RAN 标准的测试环境。
• 开发自定义 xApp，利用卷积神经网络（CNN）处理多维用户与信道状态信息以支持决策。
• 采用随机集成混合（REM）的保守 Q-学习（CQL）智能体，以在复杂、动态的 RAN 环境中稳定训练并提升泛化能力。
• 设计基于对数吞吐量增益与切换成本的奖励函数，以平衡性能与移动性开销。
• 将训练后的 xApp 部署于近实时 RIC，通过 E2 接口与 RAN 通信，实现实时基站选择控制。
• 通过 ns-O-RAN 收集超过 4000 万个数据点，支持在多个频段与用户负载下进行大规模 DRL 训练与验证。

实验结果

研究问题

• RQ1 仿真且符合 O-RAN 标准的环境是否能够实现 DRL 驱动 xApps 在 RAN 控制中的可扩展、数据驱动训练？
• RQ2 与传统切换启发式方法相比，DRL 驱动的流量引导策略在用户吞吐量与频谱效率方面表现如何？
• RQ3 基于用户级、数据驱动的控制在多样化业务模型与网络条件下，能在多大程度上提升性能？
• RQ4 所提出的 xApp 在不同频段与用户数量下，其移动性开销与鲁棒性表现如何？

主要发现

• 在最多 126 名用户与 8 个基站的大规模部署中，基于 DRL 的 xApp 相较于传统切换启发式方法，平均用户吞吐量与频谱效率提升最高达 50%。
• 尽管在某些场景下触发更多切换，但 xApp 通过基于平衡奖励函数的优化决策，显著降低了移动性开销。
• 所提出的框架在 850 MHz 与 3.5 GHz（C-Band）部署中均实现一致的性能增益，证明了其在频段适应性方面的优势。
• 与先前工作中的上下文多臂赌博机代理相比，该 xApp 表现更优，尤其在提升边缘用户吞吐量与处理异构业务类型方面。
• 该方案在多样化业务模型中均实现显著性能提升，包括视频流媒体、网页浏览与即时通信，高负载应用的频谱效率最高提升达 50%。
• ns-O-RAN 的集成支持收集超过 4000 万个训练数据点，为稳健且可泛化的 DRL 策略学习提供了支持。