[论文解读] Multi Agent Team Learning in Disaggregated Virtualized Open Radio Access Networks (O-RAN)

Pedro Enrique Iturria-Rivera, Shahram Mollahasani+1 more|arXiv (Cornell University)|Dec 9, 2020

Software-Defined Networks and 5G参考文献 12被引用 5

一句话总结

本文提出多智能体团队学习（MATL）作为一种可扩展、自适应的框架，用于非集中化、虚拟化的开放无线接入网（O-RAN）网络中的自主优化。通过在O-RAN功能切分点（O-CU、O-DU、O-RU）部署具备AI能力的智能体，该方法通过共享反馈和协同学习实现去中心化、协作式决策，显著提升了在动态、复杂环境下的网络性能，同时最大限度减少人工干预。

ABSTRACT

Starting from the Cloud Radio Access Network (C-RAN), continuing with the virtual Radio Access Network (vRAN) and most recently with Open RAN (O-RAN) initiative, Radio Access Network (RAN) architectures have significantly evolved in the past decade. In the last few years, the wireless industry has witnessed a strong trend towards disaggregated, virtualized and open RANs, with numerous tests and deployments world wide. One unique aspect that motivates this paper is the availability of new opportunities that arise from using machine learning to optimize the RAN in closed-loop, i.e. without human intervention, where the complexity of disaggregation and virtualization makes well-known Self-Organized Networking (SON) solutions inadequate. In our view, Multi-Agent Systems (MASs) with team learning, can play an essential role in the control and coordination of controllers of O-RAN, i.e. near-real-time and non-real-time RAN Intelligent Controller (RIC). In this article, we first present the state-of-the-art research in multi-agent systems and team learning, then we provide an overview of the landscape in RAN disaggregation and virtualization, as well as O-RAN which emphasizes the open interfaces introduced by the O-RAN Alliance. We present a case study for agent placement and the AI feedback required in O-RAN, and finally, we identify challenges and open issues to provide a roadmap for researchers.

研究动机与目标

• 解决传统自组织网络（SON）在高度解耦、虚拟化及多厂商O-RAN环境中所面临的局限性。
• 通过去中心化、协作式智能体实现闭环、AI驱动的网络优化，这些智能体以团队形式协同学习。
• 在考虑回传链路约束的前提下，识别在O-RAN功能切分点（O-CU、O-DU、O-RU）中智能体最优部署位置与反馈机制。
• 分析多智能体团队学习在O-RAN中面临的关键挑战，如收敛性、可扩展性、部分可观测性以及延迟反馈。
• 为在真实O-RAN部署中实施团队学习提供研究路线图。

提出的方法

• 在多个O-RAN功能层级部署具备AI能力的网络功能（AIeNF）智能体：O-CU（集中式控制）、O-DU（分布式基带）和O-RU（无线前传）。
• 实施团队学习，使智能体通过共享反馈和联合策略优化进行协调，即使在环境部分可观测的情况下也能实现。
• 以7-2x前传切分作为架构基础，支持灵活的功能切分和AI智能体在CU、DU与RU之间的部署。
• 对回传链路带宽和传输距离进行建模，以确定可行的智能体部署位置和反馈数据包大小。
• 应用去中心化学习技术，支持快速启动和离线预训练，以确保在动态条件下实现收敛。
• 设计信息共享协议，在保证智能体间环境建模精度的同时，平衡通信开销。

实验结果

研究问题

• RQ1 如何在O-RAN的功能切分点（O-CU、O-DU、O-RU）中有效设计并部署多智能体团队学习？
• RQ2 在反馈延迟、回传容量和系统收敛性方面，将AI智能体部署在O-RAN架构不同层级的性能权衡是什么？
• RQ3 部分可观测性和延迟反馈如何影响O-RAN中团队学习的稳定性和性能？
• RQ4 为在O-RAN中平衡全局性能与本地学习效率，多智能体系统的最优团队规模与结构是什么？
• RQ5 当智能体可能共享不完整或恶意信息时，如何确保多智能体协作中的安全与可信？

主要发现

• 多智能体团队学习通过允许O-CU、O-DU和O-RU处的智能体协作提升网络性能，实现可扩展的去中心化优化，无需集中式控制。
• 回传链路的传输距离和带宽约束显著限制了AI反馈的最大数据包大小，图3显示更高的反馈数据速率会降低可行的传输距离。
• 在去中心化团队学习中，收敛性仍是主要挑战，尤其是在随机性和部分可观测条件下，需要快速启动或离线预训练机制。
• 随着智能体数量增加，可扩展性问题凸显，因状态空间和动作空间呈指数级增长，需高效通信与协调机制。
• 部分可观测性会导致次优决策，除非智能体使用鲁棒模型，从有限观测中推断其他智能体的行为。
• 延迟反馈和抖动可能破坏学习稳定性，导致智能体基于过时的环境状态采取行动，从而降低整体网络性能。