[論文レビュー] Multi Agent Team Learning in Disaggregated Virtualized Open Radio Access Networks (O-RAN)

Pedro Enrique Iturria-Rivera, Shahram Mollahasani+1 more|arXiv (Cornell University)|Dec 9, 2020

Software-Defined Networks and 5G参考文献 12被引用数 5

ひとこと要約

本論文は、分散型で仮想化されたOpen RAN（O-RAN）ネットワークにおける自律的最適化のためのスケーラブルで適応可能なフレームワークとして、マルチエージェントチーム学習（MATL）を提案する。O-RANの機能分割（O-CU、O-DU、O-RU）にAI対応エージェントを配置することで、共有フィードバックと協調学習を通じた分散型で協働的な意思決定を可能にし、人的介入を最小限に抑えつつ、動的で複雑な条件下でもネットワーク性能を顕著に向上させる。

ABSTRACT

Starting from the Cloud Radio Access Network (C-RAN), continuing with the virtual Radio Access Network (vRAN) and most recently with Open RAN (O-RAN) initiative, Radio Access Network (RAN) architectures have significantly evolved in the past decade. In the last few years, the wireless industry has witnessed a strong trend towards disaggregated, virtualized and open RANs, with numerous tests and deployments world wide. One unique aspect that motivates this paper is the availability of new opportunities that arise from using machine learning to optimize the RAN in closed-loop, i.e. without human intervention, where the complexity of disaggregation and virtualization makes well-known Self-Organized Networking (SON) solutions inadequate. In our view, Multi-Agent Systems (MASs) with team learning, can play an essential role in the control and coordination of controllers of O-RAN, i.e. near-real-time and non-real-time RAN Intelligent Controller (RIC). In this article, we first present the state-of-the-art research in multi-agent systems and team learning, then we provide an overview of the landscape in RAN disaggregation and virtualization, as well as O-RAN which emphasizes the open interfaces introduced by the O-RAN Alliance. We present a case study for agent placement and the AI feedback required in O-RAN, and finally, we identify challenges and open issues to provide a roadmap for researchers.

研究の動機と目的

• 従来の自己組織的ネットワーキング（SON）が、高度に分散化され、仮想化され、複数ベンダーが関与するO-RAN環境において抱える制限を解消すること。
• 分散型で協働的なエージェントがチームとして学習することで、閉ループ型でAI駆動のネットワーク最適化を実現すること。
• ミッドホール制約を考慮したO-RAN機能分割（O-CU、O-DU、O-RU）におけるエージェントの最適配置とフィードバックメカニズムを同定すること。
• マルチエージェントチーム学習における収束性、スケーラビリティ、部分観測性、遅延フィードバックといった主な課題を分析すること。
• 実世界のO-RAN展開におけるチーム学習の導入に向けた研究ロードマップを提示すること。

提案手法

• O-RANの複数の機能レイヤー（O-CU：集中型制御、O-DU：分散型ベースバンド、O-RU：無線フロントエンド）にAI対応ネットワーク機能（AIeNF）エージェントを配置する。
• エージェントが環境の部分観測下にあっても、共有フィードバックと共同政策最適化を通じて協調的に学習するチーム学習を実装する。
• 7-2xフロントハールスプリットをアーキテクチャの基盤とし、CU、DU、RUにまたがる柔軟な機能分割とAIエージェントの配置を可能にする。
• ミッドホール帯域幅と範囲制約をモデル化し、エージェントの配置可能領域とフィードバックペイロードサイズを特定する。
• 動的条件下でも収束を確保するため、高速ブートストラップとオフライン事前学習を支援する分散学習技術を適用する。
• エージェント間の環境モデル化の正確性と通信オーバーヘッドの両立を図る情報共有プロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 O-RANの機能分割（O-CU、O-DU、O-RU）にわたり、マルチエージェントチーム学習をどのように効果的にアーキテクチャ設計・展開できるか。
• RQ2 O-RANスタックの異なるレイヤーにAIエージェントを配置する際のパフォーマンストレードオフ（フィードバック遅延、ミッドホール容量、システム収束性）は何か。
• RQ3 部分観測性と遅延フィードバックは、O-RANにおけるチーム学習の安定性とパフォーマンスにどのように影響を及ぼすか。
• RQ4 O-RANにおいてグローバルパフォーマンスとローカル学習効率の両立を図るための最適なチームサイズと構造は何か。
• RQ5 エージェントが不完全または悪意のある情報を共有する可能性がある状況において、マルチエージェント協働のセキュリティと信頼性をどのように確保できるか。

主な発見

• マルチエージェントチーム学習により、O-CU、O-DU、O-RUに配置されたエージェントが協働的にネットワークパフォーマンスを向上させることで、中央集権的制御なしにスケーラブルで分散型の最適化が実現される。
• ミッドホールの範囲と帯域幅制約が、AIフィードバックの最大ペイロードサイズに顕著な制限を及ぼしており、図3では、高いフィードバックデータレートは送信距離を短くする傾向にあることが示されている。
• 分散型チーム学習における収束は依然として大きな課題であり、とくに確率的かつ部分観測の条件下では、高速ブートストラップまたはオフライン事前学習が不可欠である。
• エージェント数の増加に伴い、状態空間と行動空間の指数的増加によりスケーラビリティの問題が生じ、効率的な通信と調整メカニズムが求められる。
• 部分観測性は、エージェントが限られた観測から他のエージェントの行動を推定する強固なモデルを用いない限り、非最適な意思決定を引き起こす。
• 遅延フィードバックとジターバイアスは学習を不安定化させ、エージェントが古くなった環境状態に基づいて行動することで、全体のネットワークパフォーマンスが低下する。