[論文レビュー] Reinforcement Learning based QoS/QoE-aware Service Function Chaining in Software-Driven 5G Slices

Xi Chen, Zonghang Li+5 more|arXiv (Cornell University)|Apr 6, 2018

Software-Defined Networks and 5G被引用数 5

ひとこと要約

本論文は、SDN/NFV対応5GネットワークスライスにおけるQoE/QoS指向のサービス機能チェイニング（SFC）のための強化学習（DQN）ベースのフレームワークを提案する。軽量なLLDPベースのQoS収集器と、QoEおよびQoS制約を組み合わせた報酬関数を用いて、動的環境下でも高いQoEを維持しながら最適なSFCパスを動的に選択するエージェントの学習を実現している。

ABSTRACT

With the ever growing diversity of devices and applications that will be connected to 5G networks, flexible and agile service orchestration with acknowledged QoE that satisfies end-user's functional and QoS requirements is necessary. SDN (Software-Defined Networking) and NFV (Network Function Virtualization) are considered key enabling technologies for 5G core networks. In this regard, this paper proposes a reinforcement learning based QoS/QoE-aware Service Function Chaining (SFC) in SDN/NFV-enabled 5G slices. First, it implements a lightweight QoS information collector based on LLDP, which works in a piggyback fashion on the southbound interface of the SDN controller, to enable QoS-awareness. Then, a DQN (Deep Q Network) based agent framework is designed to support SFC in the context of NFV. The agent takes into account the QoE and QoS as key aspects to formulate the reward so that it is expected to maximize QoE while respecting QoS constraints. The experiment results show that this framework exhibits good performance in QoE provisioning and QoS requirements maintenance for SFC in dynamic network environments.

研究の動機と目的

• 多様なアプリケーションやデバイスを有する5Gネットワークにおける柔軟で迅速なサービスオchestrationの課題に対処する。
• ソフトウェア定義5GネットワークスライスにおけるQoE指向およびQoS制約付きのサービス機能チェイニング（SFC）を可能にする。
• ユーザーの満足度（QoE）とネットワークの品質（QoS）の両方をバランスさせる知能的で適応的なSFC意思決定メカニズムを設計する。
• SDN/NFVアーキテクチャに強化学習を統合し、ネットワーク変化に応じてリアルタイムで動的SFCプロビジョニングをサポートする。

提案手法

• SDNコントローラーのサウスバウンドインターフェースにピグバック形式で組み込む軽量なQoS情報収集器を提案する。
• リアルタイムのネットワーク状態とユーザー要件に基づいてSFC意思決定を行うDQNベースのエージェントフレームワークを設計する。
• QoE（ユーザー体験）とQoS（ネットワーク性能）メトリクスの両方を組み合わせた複合報酬関数を定義する。
• 深層強化学習を用いて、QoEを最大化すると同時にQoS制約を満たす最適なSFCパスを選択するエージェントの学習を実施する。
• SDN/NFVアーキテクチャにエージェントを統合し、5Gスライスにおける動的でポリシー駆動のSFCオchestrationを可能にする。
• 報酬最大化に基づいてネットワーク機能とその順序を選択する階層的意思決定モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、動的変化する5GネットワークスライスにおいてQoSとQoEを一体的に最適化する方法は何か？
• RQ2 LLDPベースのQoSモニタリングを統合することで、SDN/NFV環境におけるSFC意思決定性能にどのような影響を与えるか？
• RQ3 DQNベースのエージェントは、リアルタイムSFCプロビジョニングにおいてQoEとQoS制約を効果的にバランスさせることに成功するか？
• RQ4 提案フレームワークは、動的ネットワーク環境下でもQoS要件を満たしながらユーザーのQoEを最大化することができるか？
• RQ5 さまざまなトラフィックおよびネットワーク負荷パターン下で、DQNベースのSFCフレームワークのスケーラビリティと適応性はどの程度か？

主な発見

• 提案されたDQNベースのSFCフレームワークは、動的ネットワーク環境下でベースライン手法と比較してQoEプロビジョニングにおいて顕著な向上を達成した。
• LLDPベースのQoS収集器は、制御プレーンのオーバーヘッドにほとんど影響を与えず、効率的かつ低コストなネットワーク性能メトリクスのモニタリングを可能にした。
• 実験結果から、フレームワークは遅延やジターメトリクスなどのQoS制約を効果的に維持しながらQoEを最大化できることを示し、さまざまなネットワーク条件下でも高い耐障害性を示した。
• 実験結果では、エージェントが合理的な学習エピソード数内で最適なSFCパスに収束することが確認され、効果的な学習が実現していることが示された。
• 報酬関数にQoEとQoSを統合することで、ユーザー中心のSFC意思決定が実現し、エンドユーザーの満足度をより的確に反映するようになった。
• DQNによる継続的オンライン学習のおかげで、リンク障害やトラフィックの変動といったネットワークダイナミクスに対しても、フレームワークは強く適応可能であることが明らかになった。