[論文レビュー] Zero-touch Continuous Network Slicing Control via Scalable Actor-Critic Learning

Farhad Rezazadeh, Hatim Chergui+1 more|arXiv (Cornell University)|Jan 17, 2021

Software-Defined Networks and 5G参考文献 46被引用数 12

ひとこと要約

本稿は、B5GセルフフリーmMIMOネットワークにおける生涯的で手動不要なネットワークスライシング制御フレームワークを、新規の優先順位付き二重遅延分布的深層決定的政策勾配（D-TD3）アルゴリズムを用いて提案する。この手法により、遅延、エネルギー、VNFコストを最小化しつつ、動的ネットワーク環境下での多目的最適化において先行するDRL手法を上回る、連続的かつ安定した学習が可能になる。

ABSTRACT

Artificial intelligence (AI)-driven zero-touch network slicing is envisaged as a promising cutting-edge technology to harness the full potential of heterogeneous 5G and beyond 5G (B5G) communication systems and enable the automation of demand-aware resource management and orchestration (MANO). In this paper, we tackle the issue of B5G radio access network (RAN) joint slice admission control and resource allocation according to proposed slice-enabling cell-free massive multiple-input multiple-output (mMIMO) setup by invoking a continuous deep reinforcement learning (DRL) method. We present a novel Actor-Critic-based network slicing approach called, prioritized twin delayed distributional deep deterministic policy gradient (D-TD3)}. The paper defines and corroborates via extensive experimental results a zero-touch network slicing scheme with a multi-objective approach where the central server learns continuously to accumulate the knowledge learned in the past to solve future problems and re-configure computing resources autonomously while minimizing latency, energy consumption, and virtual network function (VNF) instantiation cost for each slice. Moreover, we pursue a state-action return distribution learning approach with the proposed replay policy and reward-penalty mechanisms. Finally, we present numerical results to showcase the gain of the adopted multi-objective strategy and verify the performance in terms of achieved slice admission rate, latency, energy, CPU utilization, and time efficiency.

研究の動機と目的

• 生涯的で継続的な強化学習を用いて、B5GセルフリーmMIMOネットワークにおける完全自動化・手動不要なネットワークスライシングを実現すること。
• 動的でマルチテナントのトラフィックおよびリソース制約下での、統合的スライス承認制御とリソース割り当てのNP困難な課題に対処すること。
• 遅延、エネルギー消費、VNF起動コスト、CPU使用率を含む多目的コスト関数を最小化すること。
• 高度なDRL技術を用いて、連続的アクション空間における安定的かつ効率的な学習を保証すること。
• 知識を環境間で蓄積できるスケーラブルで再利用可能なフレームワークを構築すること。

提案手法

• ネットワークスライシングにおける連続的アクション空間制御のため、新規のDRLアルゴリズムである優先順位付き二重遅延分布的深層決定的政策勾配（D-TD3）を提案する。
• 価値推定の安定性を向上させ、過大評価バイアスを低減するために、状態-アクションリターン分布の学習アプローチを採用する。
• 学習の高速化と安定化を図るために、報酬ペナルティ機構を備えた優先順位付き非同期アクター・ライナー・リプレイバッファを導入する。
• グローバルネットワーク状態観測に基づき、1つの中央サーバーが学習とリソース再構成を実行する集中型学習設定を採用する。
• エージェントがVNFコストや遅延といった重要な指標を優先的に最適化できるように、目的に事前に重みを設定する。
• OpenAI Gymツールキットを用いて、現実的なセルフリーmMIMOおよびスライス動的特性を備えた標準的かつ拡張可能なB5G RAN環境をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 連続的DRLベースのアプローチは、動的で変化し続けるB5GセルフリーmMIMO環境下で、安定的かつ生涯にわたる学習を実現できるか？
• RQ2 提案されたD-TD3手法は、最先端のポリシーに基づくおよび連続的DRLアルゴリズムと比較して、多目的性能でどのように差をつけるか？
• RQ3 優先順位付きリプレイと報酬ペナルティ機構は、学習速度と収束安定性をどの程度向上させるか？
• RQ4 AP数や目的の重みといったさまざまなネットワークパラメータが、スライス承認率、遅延、エネルギー消費に与える影響は何か？
• RQ5 重み付き多目的最適化により、エージェントは高承認率と低エネルギーという相反する目的を効果的にバランスできるか？

主な発見

• D-TD3エージェントは、動的トラフィックおよびAP数の変動下でも95％のスライス承認率を達成し、高負荷状態ではベースラインのDDPGよりも15％の改善を示した。
• 250台のAPと優先順位付き遅延重みを設定した場合、D-TD3手法は150台のAPと等重みのベースラインと比較して平均ネットワーク遅延を22％削減した。
• APが増加することでパイロットオーバーヘッドが増加し、エネルギー消費はわずかに上昇（約8％）したが、D-TD3エージェントはDDPGと比較して、1スライスあたり12％低いエネルギーコストを維持した。
• D-TD3のクリッピング機構のおかげで、10,000回の学習エピソードにわたり安定した学習行動を示し、ポリシーの乖離も最小限に抑えられ、勾配爆発も発生しなかった。
• 優先順位付きリプレイバッファにより、均一リプレイと比較して学習時間を30％短縮し、性能に損なわれることなく収束を加速した。
• 多目的フレームワークは、トレードオフを効果的にバランスした：遅延優先度を高めることで遅延は22％改善され、承認率は95％を維持し、エネルギーコストはわずか10％増加にとどまった。