[論文レビュー] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

Andrea Lacava, Michele Polese+7 more|arXiv (Cornell University)|Sep 28, 2022

Advanced MIMO Systems Optimization被引用数 6

ひとこと要約

本論文では、生産環境用のnear-RT RICと、ns-3に基づく3GPP準拠のRANシミュレータを統合した新規フレームワーク、ns-O-RANを提示する。これにより、5GオープンRANネットワークにおけるユーザー指向のトラフィックステアリングを実現する深層強化学習（DRL）駆動xAppのエンドツーエンド開発および大規模な学習が可能になる。提案されたxAppは、CNNを用いたランダムアンサンブル混合（REM）と保守的Q学習（CQL）アルゴリズムを活用し、従来の handover ヒューリスティクスに比べて平均で50％のスループットおよびスペクトル効率の向上を達成するとともに、移動性オーバーヘッドを低減する。

ABSTRACT

5G and beyond mobile networks will support heterogeneous use cases at an unprecedented scale, thus demanding automated control and optimization of network functionalities customized to the needs of individual users. Such fine-grained control of the Radio Access Network (RAN) is not possible with the current cellular architecture. To fill this gap, the Open RAN paradigm and its specification introduce an open architecture with abstractions that enable closed-loop control and provide data-driven, and intelligent optimization of the RAN at the user level. This is obtained through custom RAN control applications (i.e., xApps) deployed on near-real-time RAN Intelligent Controller (near-RT RIC) at the edge of the network. Despite these premises, as of today the research community lacks a sandbox to build data-driven xApps, and create large-scale datasets for effective AI training. In this paper, we address this by introducing ns-O-RAN, a software framework that integrates a real-world, production-grade near-RT RIC with a 3GPP-based simulated environment on ns-3, enabling the development of xApps and automated large-scale data collection and testing of Deep Reinforcement Learning-driven control policies for the optimization at the user-level. In addition, we propose the first user-specific O-RAN Traffic Steering (TS) intelligent handover framework. It uses Random Ensemble Mixture, combined with a state-of-the-art Convolutional Neural Network architecture, to optimally assign a serving base station to each user in the network. Our TS xApp, trained with more than 40 million data points collected by ns-O-RAN, runs on the near-RT RIC and controls its base stations. We evaluate the performance on a large-scale deployment, showing that the xApp-based handover improves throughput and spectral efficiency by an average of 50% over traditional handover heuristics, with less mobility overhead.

研究の動機と目的

• オープンRAN環境におけるAI/MLベースのxAppの開発およびトレーニングに向けたスケーラブルでデータ駆動型のテストベッドの不足に対処すること。
• near-RT RICにデプロイされたプログラマブルなxAppを通じて、RAN機能に対する細粒度のユーザー指向制御を可能にすること。
• リアルタイムのユーザーおよびネットワーク状態に基づいて、ハンドオーバー意思決定を最適化する新規のデータ駆動型トラフィックステアリングフレームワークの設計および評価すること。
• 大規模シミュレーションおよび実世界のプロトコル準拠を用いて、スループットおよびスペクトル効率における顕著な性能向上を実証すること。

提案手法

• 生産環境用のnear-RT RICと、ns-3に基づく3GPP準拠のRANシミュレータを統合し、フルスタックでO-RAN準拠のテスト環境を構築する。
• 複数の次元のユーザーおよびチャネル状態情報の処理に畳み込みニューラルネットワーク（CNN）を用いたカスタムxAppを開発する。
• 複雑で動的なRAN環境における学習の安定化および一般化の向上を図るため、保守的Q学習（CQL）エージェントのランダムアンサンブル混合（REM）を採用する。
• スループット向上の対数的増加とハンドオーバーのコストに基づく報酬関数を用い、性能と移動性オーバーヘッドのバランスを取る。
• 訓練されたxAppをnear-RT RICにデプロイし、RANとのE2インターフェースを介してリアルタイムで基地局選択を制御する。
• 複数の周波数帯およびユーザー負荷をカバーする大規模なDRLトレーニングおよび検証のため、ns-O-RANを介して4000万件以上のデータポイントを収集する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされたO-RAN準拠環境は、RAN制御のためのスケーラブルでデータ駆動型のDRLベースxAppのトレーニングを可能にするか？
• RQ2 DRL駆動のトラフィックステアリング方針は、従来のhandoverヒューリスティクスと比較して、ユーザースループットおよびスペクトル効率においてどのように異なるか？
• RQ3 ユーザー指向のデータ駆動型制御は、多様なトラフィックモデルおよびネットワーク状態において、どれほど性能向上を実現できるか？
• RQ4 提案されたxAppは、異なる周波数帯およびユーザー数において、移動性オーバーヘッドおよび耐障害性の観点でどのように性能を発揮するか？

主な発見

• 大規模な展開（最大126ユーザー、8基地局）において、DRLベースのxAppは従来のhandoverヒューリスティクスに比べ、平均スループットおよびスペクトル効率を最大50％向上する。
• 報酬関数のバランスが取られた最適化意思決定のおかげで、一部のシナリオではより多くのハンドオーバーが発生するものの、ベースラインと比較して移動性オーバーヘッドが低減される。
• 提案されたフレームワークは、850 MHzおよび3.5 GHz（Cバンド）の両方の展開で一貫した性能向上を達成し、周波数帯への適応性を示している。
• 従来の研究で提示された文脈的マルチアームバンディットエージェントと比較して、特にセルエッジユーザーのスループット向上および多様なトラフィックタイプの処理において優れた性能を発揮する。
• 動画ストリーミング、ウェブブラウジング、インstantメッセージングを含む多様なトラフィックモデルにおいて顕著な向上を示し、高トラフィックアプリケーションではスペクトル効率が最大50％向上する。
• ns-O-RANの統合により、4000万件を超えるトレーニングデータポイントの収集が可能となり、強固で一般化可能なDRLポリシー学習を支援する。