[論文レビュー] EdgeRIC: Empowering Realtime Intelligent Optimization and Control in NextG Networks

Woo-Hyun Ko, Ushasi Ghosh+4 more|arXiv (Cornell University)|Apr 21, 2023

Energy Efficient Wireless Sensor Networks被引用数 4

ひとこと要約

本稿では、エッジに配置されたマイクロサービスとしての EdgeRIC —— 1ミリ秒未塔のポリシー実行を可能にする低遅延なエッジデプロイ型モジュール —— と、オフラインでのAIポリシー学習を可能にするフルスタックエミュレータである DigitalTwin を備えた、次世代ネットワーク向けのリアルタイム知能制御プラットフォーム RICworld を提案する。EdgeRIC はクラウドベースの RIC や従来のスケジューリングと比較して、5–25% の高いスループットと、動画のストールを低減するという点で、5Gネットワークにおけるリアルタイムでアプリケーションに適応したクロスレイヤー最適化の実現可能性を示している。

ABSTRACT

Radio Access Networks (RAN) are increasingly softwarized and accessible via data-collection and control interfaces. RAN intelligent control (RIC) is an approach to manage these interfaces at different timescales. In this paper, we develop a RIC platform called RICworld, consisting of (i) EdgeRIC, which is colocated, but decoupled from the RAN stack, and can access RAN and application-level information to execute AI-optimized and other policies in realtime (sub-millisecond) and (ii) DigitalTwin, a full-stack, trace-driven emulator for training AI-based policies offline. We demonstrate that realtime EdgeRIC operates as if embedded within the RAN stack and significantly outperforms a cloud-based near-realtime RIC (> 15 ms latency) in terms of attained throughput. We train AI-based polices on DigitalTwin, execute them on EdgeRIC, and show that these policies are robust to channel dynamics, and outperform queueing-model based policies by 5% to 25% on throughput and application-level benchmarks in a variety of mobile environments.

研究の動機と目的

• TTIスケールの RAN 操作（1 ms）と、既存のニアリアルタイムまたは非リアルタイム RIC 解決策（10 ms から数秒）との間の遅延不一致を是正すること。
• AR/VR や産業用 IoT、ストリーミングなどの厳しい QoE 要件を満たすために、5G ネットワークにおけるリアルタイムでアプリケーションに適応したクロスレイヤー最適化を可能にすること。
• 知能制御を RAN スタックから分離しつつも、1ミリ秒未塔の応答性とフェイルセーフ性を維持するプラットフォームの開発。
• 空中実験を用いて、強化学習（RL）ベースのポリシーを用いたリアルタイムリソース割り当てのエンドツーエンドの実現可能性を実証すること。
• 多様な RAN スタックとマルチユーザー環境において、堅牢でスケーラブルかつ拡張可能な AI 最適化ポリシーの展開を可能にすること。

提案手法

• EdgeRIC をエッジコンピューティングに同居配置し、RAN とは標準化された O-RAN に類似した API を介して接続するマイクロサービスとしてデプロイし、リアルタイムの RAN 状態とアプリケーションレベルの状態にアクセス可能にする。
• RAN の 1 ms TTI に同期することで、1ミリ秒未塔の遅延で実現されるリアルタイム制御ループを実装し、即時のポリシー実行を可能にする。
• EdgeRIC の信号が欠落した場合にデフォルトの RAN スケジューリングにフォールバックするフェイルセーフアーキテクチャを設計し、システムの安定性を確保する。
• 複数ユーザー・複数アプリケーション環境をリアルなチャネルダイナミクスを再現してエミュレートできる、フルスタックでトレース駆動型のエミュレータである DigitalTwin を開発する。
• 報酬関数として、動画ストールには −20、滑らかな再生には +2 のペナルティを与えることで、CQI、キュー長、メディアバッファサイズなどの状態入力を用いて、PPO を用いた深層強化学習（DRL）エージェントを DigitalTwin 上で学習させる。
• 学習済みの RL ポリシーを EdgeRIC にデプロイし、空中実験でリアルタイム実行を実現する。24fps の動画ストリーミングを実施し、バッファ状態の更新を 40ms 間隔、上行リンク遅延を 20ms でシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 分離型でエッジに配置された RIC は、時間的に敏感な RAN 操作から独立した状態で、1ミリ秒未塔の制御遅延を達成できるか？
• RQ2 DigitalTwin のようなフルスタックエミュレータで学習された AI 最適化ポリシーは、動的なチャネル状態を有する実世界の無線環境にどの程度一般化可能か？
• RQ3 EdgeRIC を用いたリアルタイムでアプリケーションに適応した制御は、従来の RAN スケジューリングやクラウドベースの RIC と比較して、スループットおよび動画ストールといった QoE メトリクスでどの程度優れているか？
• RQ4 マルチテナント環境において、多数のユーザーと複数の基地局をサポートするにあたり、EdgeRIC のスケーラビリティはどの程度か？
• RQ5 フェデレーテッドラーニングを用いることで、複数の基地局にまたがる EdgeRIC インスタンスの協調制御が、プライバシーとパフォーマンスを損なわずに行えるか？

主な発見

• EdgeRIC は 1ミリ秒未塔の制御遅延を達成し、TTI 時定数（1 ms）のスケールでリアルタイムのポリシー実行を可能にした。これは、15 ms もしくはそれ以上の遅延を示すクラウドベースのニアリアルタイム RIC より顕著に優れている。
• 実世界の空中実験において、RL で学習したポリシーは、30秒間の再生中に合計で 2.3–2.6 秒の動画ストール時間にまで短縮され、最大重み法（5.4 秒）や比例公平性（4.2 秒）のベースラインと比較して 65% の削減を達成した。
• RL ポリシーは安定したメディアバッファリングを維持し、高優先度ストリームあたり平均 7.5 Mbps のスループットを達成した。これはチャネル変動に対して高い耐性を示している。
• DigitalTwin 上での学習において、RL エージェントは 10 回の訓練イテレーション以内に最適なポリシーに収束した。これは、提示された状態-行動-報酬定式化に基づく学習の効率性を示している。
• EdgeRIC は 100 個の UE に対する制御メッセージ処理を正常に処理でき、RAN から EdgeRIC への遅延が約 100 μs であった。これは、現在の実験的制限を除けばスケーラビリティの可能性を示している。
• プラットフォームは、リアルタイムでアプリケーションに適応したクロスレイヤー制御が、多様なモバイル環境において、キューイングモデルに基づくポリシーと比較して、システムスループットを 5% から 25% 向上させられることを実証した。