[論文レビュー] Deep Q-Learning for Dynamic Reliability Aware NFV-Based Service Provisioning

Hamed Rahmani Khezri, Puria Azadi Moghadam+4 more|arXiv (Cornell University)|Dec 3, 2018

Software-Defined Networks and 5G参考文献 14被引用数 10

ひとこと要約

本稿では、NFV対応ネットワークにおける動的サービス配置フレームワークを、Deep Q-Network (DQN) を用いて提案しており、配置コストを統合的に最小化するとともに、サービス信頼性要件を満たした上で、受入率を最大化する。DQNエージェントは経験再生とε-greedy探索を用いて、リアルタイムで最適なサーバー割り当てポリシーを学習し、信頼性要件やサービス離脱確率の変動に対しても高い受入率を達成する。

ABSTRACT

Network function virtualization (NFV) is referred to the technology in which softwarized network functions virtually run on commodity servers. Such functions are called virtual network functions (VNFs). A specific service is composed of a set of VNFs. This is a paradigm shift for service provisioning in telecom networks which introduces new design and implementation challenges. One of these challenges is to meet the reliability requirement of the requested services considering the reliability of the commodity servers. VNF placement which is the problem of assigning commodity servers to the VNFs becomes crucial under such circumstances. To address such an issue, in this paper, we employ Deep Q-Network (DQN) to model NFV placement problem considering the reliability requirement of the services. The output of the introduced model determines what placement will be optimal in each state. Numerical evaluations show that the introduced model can significantly improve the performance of the network operator.

研究の動機と目的

• サーバー信頼性とサービス需要が変動するNFV環境における、動的で信頼性を考慮した仮想ネットワーク機能（VNF）配置の課題に対処すること。
• 厳密な信頼性制約のもとで、配置コストを最小化するとともに、受入可能なサービス数を最大化すること。
• ネットワークオペレータが環境と相互作用することで最適ポリシーを学習するため、NFV配置問題を強化学習のタスクとして定式化すること。
• NFVサービス提供における信頼性とリソース制約に適合した、状態、行動、報酬、メモリのコンponentsを備えたDQNエージェントを設計すること。

提案手法

• DQNエージェントは、現在のサーバーのリソース利用状況、サービスの信頼性要件、VNFチェーン構成を含む状態表現を用いて訓練される。
• 行動は、リソースおよび信頼性制約に基づいて利用可能なサーバーから選択された、各VNFの特定のサーバー割り当てに対応する。
• 報酬関数は、信頼性の高い配置を促進するように設計されており、実際の配置信頼性が要求された信頼性に近いほど高い報酬が与えられ、障害やコスト超過に対してペナルティが課される。
• 経験再生を用いて遷移（状態、行動、報酬、次状態）を保存し、時間的相関を解消することで安定した学習を可能にする。
• ε-greedy探索戦略が採用されており、学習過程でεが時間経過とともに減少することで、探索と活用のバランスが取られる。
• ReLUおよびtanh活性化関数、ドロップアウト正則化、平均二乗誤差損失を備えた全結合深層ニューラルネットワークを用いて、Q値関数を近似する。

実験結果

リサーチクエスチョン

• RQ1 DQNベースのアプローチは、異種のサーバー信頼性を有するマルチテナントNFV環境において、動的で信頼性を考慮したVNF配置ポリシーを効果的に学習できるか？
• RQ2 DQNエージェントは、リアルタイムのサービス提供において、コスト最小化と信頼性最大化のバランスをどのようにとるか？
• RQ3 さまざまなサービス信頼性要件と離脱確率に対して、DQNエージェントの収束特性とパフォーマンスはどのように変化するか？
• RQ4 経験再生とε-greedy探索の導入が、このNFV文脈におけるDQNエージェントの安定性と学習効率にどのように影響を与えるか？

主な発見

• DQNエージェントは時間経過とともに配置ポリシーを適応させることに成功し、全サービスタイプで安定的かつ高い受入率を達成しており、約10,000ステップの経過後に収束が観察された。
• 信頼性要件がより高いサービス（例：95％）では、収束までの時間が長く、最終的な受入率も低くなる傾向にあり、厳しい信頼性制約を満たすことが困難であることが示された。
• サービス離脱確率が低いほど受入率が低下する傾向にあり、動的サービスの流入・離脱の変動に敏感であることが確認され、適応的配置の重要性が裏付けられた。
• DQNエージェントは、さまざまな離脱確率に対しても頑健性を示し、異なるサービスダイナミクス下でも一貫したパフォーマンスを維持した。
• 経験再生とε-greedy探索の活用により、安定した学習が可能となり、過学習を防ぐことができ、訓練エポック全体にわたり一貫したパフォーマンスが得られた。
• 報酬関数は、要求された信頼性レベルに近い配置を促進する効果的な指標となり、過剰または不足なリソース割り当ての両方を最小限に抑えた。