[論文レビュー] Deep Reinforcement Learning for Resource Management in Network Slicing

Rongpeng Li, Zhifeng Zhao+6 more|arXiv (Cornell University)|May 17, 2018

Software-Defined Networks and 5G参考文献 18被引用数 7

ひとこと要約

本稿では、5Gネットワークスライシングにおけるインテリジェントで需要に応じたリソース管理のためのディープQラーニング（DQL）を提案する。DQLは、ユーザーの活動状況とスライスの優先度に基づき、動的に無線およびコアネットワークリソースを割り当てる。シミュレーションの結果、非優先ベースラインと比較して平均フロー待機時間を10.5%短縮し、CPU使用率を27.9%向上させた。これは、動的でリソース制約のある環境において優れたQoEと効率性を示している。

ABSTRACT

Network slicing is born as an emerging business to operators, by allowing them to sell the customized slices to various tenants at different prices. In order to provide better-performing and cost-efficient services, network slicing involves challenging technical issues and urgently looks forward to intelligent innovations to make the resource management consistent with users' activities per slice. In that regard, deep reinforcement learning (DRL), which focuses on how to interact with the environment by trying alternative actions and reinforcing the tendency actions producing more rewarding consequences, is assumed to be a promising solution. In this paper, after briefly reviewing the fundamental concepts of DRL, we investigate the application of DRL in solving some typical resource management for network slicing scenarios, which include radio resource slicing and priority-based core network slicing, and demonstrate the advantage of DRL over several competing schemes through extensive simulations. Finally, we also discuss the possible challenges to apply DRL in network slicing from a general perspective.

研究の動機と目的

• ユーザーの活動状況やSLA要件がスライスごとに顕著に異なる動的で需要に応じたリソース割り当ての課題に対処すること。
• 深層強化学習（DRL）、特にディープQラーニング（DQL）が、リアルタイムかつ動的制約下でリソース割り当てを効果的に管理できるかどうかを評価すること。
• DQLの性能を、無作為な割り当てと予測に基づくリソース管理手法と比較し、無線およびコアネットワークスライシングの両方のシナリオで評価すること。
• DRLを実世界のネットワークスライシングに適用する際の主な課題、特に状態/行動の抽象化、報酬の遅延、ポリシー学習コストを特定すること。

提案手法

• シミュレートされたネットワーク環境との相互作用を通じて最適なリソース割り当てポリシーを学習する、ディープQラーニング（DQL）という深層強化学習の一種を用いる。
• 直近のフロー統計（例：到着時刻、カテゴリ）に基づく状態表現と、特定のスライスまたはSFCへのリソース割り当て意思決定としての行動空間を定義する。
• 大規模かつ連続的な状態-行動空間における一般化を可能にするために、ニューラルネットワークを用いてQ値関数を近似する。
• 3つの優先度カテゴリにわたる実際のユーザー行動を模倣するため、対数正規分布の到着間隔を有する合成フローレコードを用いてDQLエージェントを事前学習する。
• 処理時間とキューイング時間の両方を組み合わせた重み付き報酬関数を採用し、高優先度フローの商業的価値を反映させるために高い重みを付与する。
• 10,000件のフローを用いた広範なシミュレーションを実施し、待機時間、CPU使用率、公平性などの指標に基づいて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、ユーザー活動状況や優先度要件が異なるネットワークスライシング環境において、動的で需要に応じたリソース割り当てを効果的に管理できるか？
• RQ2 DQLは、直感的で優先度なしのリソース割り当て手法と比較して、待機時間とリソース使用率の点でどのように異なるか？
• RQ3 リアルタイムのネットワークスライシングにDRLを展開するにあたり、主な課題は何か。特に状態の抽象化、報酬フィードバック、学習遅延の観点から検討する。
• RQ4 明示的な予測モデルなしに、DRLがユーザー需要とリソース供給の複雑な関係を暗黙的にモデル化できるか？

主な発見

• DQLは非優先ベースラインと比較して平均フロー待機時間を10.5%短縮し、高価値ユーザーへの応答性が向上していることが示された。
• DQLは非優先ベースラインと比較してCPU使用率を27.9%向上させ、計算リソースの使用効率が向上していることが示された。
• 報酬の形状付けを活用することで、明示的な需要予測なしにDQLエージェントが高優先度フローを効果的に優先することが学習された。
• コアネットワークスライシングタスクのDQLポリシーを事前学習するには、標準CPUで約2日間の計算時間がかかることが判明し、ポリシー学習の高コスト性が浮き彫りになった。
• 本研究では4つの主要な課題を特定した：動的スライスの受入制御、適切な状態/行動の抽象化、報酬フィードバックの遅延、ポリシー学習コストの高さ。
• DRLはインテリジェントなネットワークスライシングにおいて強く有望な可能性を示しているが、実用的展開には遅延、抽象化、学習効率の問題に対する解決策が求められる。