[論文レビュー] Multi-Objective Provisioning of Network Slices using Deep Reinforcement Learning

Chien-Cheng Wu, Vasilis Friderikos+1 more|arXiv (Cornell University)|Jul 27, 2022

Software-Defined Networks and 5G被引用数 5

ひとこと要約

本稿では、5Gネットワークにおけるマルチオブジェクティブなネットワークスライスプロビジョニング（NSP）問題を解決するため、Proximal Policy Optimization（PPO）を用いた深層強化学習フレームワークを提案する。ネットワーク運用コストとサービスレベル契約（SLA）違反率を同時に最適化する。リアルタイムのプロビジョニングをオンラインネットワークスライスプロビジョニング（ONSP）問題としてモデル化し、需要予測を用いてPPOによる近似解を求める。この手法は、将来の需要を事前に把握しない状態でも、最適な整数計画法（IP）ベンチマークと同等の性能を達成する。

ABSTRACT

Network Slicing (NS) is crucial for efficiently enabling divergent network applications in next generation networks. Nonetheless, the complex Quality of Service (QoS) requirements and diverse heterogeneity in network services entails high computational time for Network Slice Provisioning (NSP) optimization. The legacy optimization methods are challenging to meet the low latency and high reliability of network applications. To this end, we model the real-time NSP as an Online Network Slice Provisioning (ONSP) problem. Specifically, we formulate the ONSP problem as an online Multi-Objective Integer Programming Optimization (MOIPO) problem. Then, we approximate the solution of the MOIPO problem by applying the Proximal Policy Optimization (PPO) method to the traffic demand prediction. Our simulation results show the effectiveness of the proposed method compared to the state-of-the-art MOIPO solvers with a lower SLA violation rate and network operation cost.

研究の動機と目的

• 5Gネットワークにおける動的かつ不確実なユーザー需要下でのリアルタイムネットワークスライスプロビジョニング（NSP）の高い複雑性に対処すること。
• マルチオブジェクティブ最適化フレームワーク内で、ネットワーク運用コストとSLA違反率を同時に最小化すること。
• 将来のリクエストを完全に把握しない状態でも、変動するトラフィック需要に適応可能な、強固なオンラインNSPソリューションの開発。
• 提案された深層強化学習アプローチの性能を、部分最適および最適なベンチマークと比較して評価すること。

提案手法

• オンラインネットワークスライスプロビジョニング（ONSP）問題をマルチオブジェクティブ整数計画法最適化（MOIPO）問題として定式化する。
• ポリシー関数と価値関数の2つのニューラルネットワークを用いて、Proximal Policy Optimization（PPO）を適用する。
• トラフィック需要予測を入力として用い、PPOエージェントがスライスプロビジョニング意思決定を下せるようにする。
• 複数のエポックおよびミニバッチを用いた確率的勾配降下法により、ポリシーを最適化するための代理損失関数を採用する。
• 状態価値を推定する価値関数と、ポリシー更新を改善するアドバンテージ関数を統合する。
• 変化するユーザー需要パターンに適応できる、連続的かつオンライン学習設定でのPPOアルゴリズムの実装。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習アプローチは、動的ネットワークスライスプロビジョニングにおいて、コスト最小化とSLA違反削減のバランスを効果的にとれるか？
• RQ2 PPOベースの手法は、グリーディーベンチマークおよび整数計画法（IP）ベンチマークと比較して、運用コストとSLA違反率の点でどのように差をつけるか？
• RQ3 将来のユーザー需要を事前に把握しない状態でも、PPOエージェントは最適なプロビジョニングポリシーをどれほど学習できるか？
• RQ4 提案手法は、最適なIPソリューションに近い性能を達成しながら、リアルタイムで計算可能であるか？

主な発見

• PPOベースの手法は、最適な整数計画法（IP）ベンチマークと同等のネットワーク運用コストを達成しており、グリーディーベンチマークを著しく上回っている。
• PPO手法のSLA違反率は、IPベンチマークと比較して1.15～1.28倍の低減が達成されており、優れた公平性と信頼性を示している。
• PPOフレームワークは、将来のユーザー需要を完全に把握しない状態でも、SLA違反と運用コストを低減でき、高いロバストネスを示している。
• シミュレーション結果から、PPOはNP困難なMOIPO問題の最適解を、リアルタイムかつオンライン設定で効果的に近似できていることが確認された。
• 提案手法は、コストとSLA違反率の両面でグリーディー手法を上回っており、学習ベースで統合的な最適化の利点が裏付けられた。