[論文レビュー] Reinforcement Learning of Graph Neural Networks for Service Function Chaining

DongNyeong Heo, Do‐Young Lee+3 more|arXiv (Cornell University)|Nov 17, 2020

Software-Defined Networks and 5G参考文献 10被引用数 4

ひとこと要約

本稿では、動的ネットワークトポロジーにおけるサービス機能チェイニング（SFC）のためのグラフニューラルネットワーク（GNN）を訓練する強化学習（RL）フレームワークを提案する。教師あり学習に依存せず、ラベルなしデータでも一般化可能である。経路の有効性と遅延に基づくスパarsな報酬を用いることで、固定トポロジーでは教師あり学習と同等の性能を達成するが、未学習のランダムに生成されたトポロジーでは顕著に優れた性能を示し、耐障害性と適応性を実証する。

ABSTRACT

In the management of computer network systems, the service function chaining (SFC) modules play an important role by generating efficient paths for network traffic through physical servers with virtualized network functions (VNF). To provide the highest quality of services, the SFC module should generate a valid path quickly even in various network topology situations including dynamic VNF resources, various requests, and changes of topologies. The previous supervised learning method demonstrated that the network features can be represented by graph neural networks (GNNs) for the SFC task. However, the performance was limited to only the fixed topology with labeled data. In this paper, we apply reinforcement learning methods for training models on various network topologies with unlabeled data. In the experiments, compared to the previous supervised learning method, the proposed methods demonstrated remarkable flexibility in new topologies without re-designing and re-training, while preserving a similar level of performance.

研究の動機と目的

• 教師あり学習の限界、すなわちラベル付きデータを必要とし、新しいトポロジーでは失敗することを解消すること。
• 再トレーニングなしに多様で動的変化するネットワークトポロジーに一般化可能な柔軟なSFCモジュールを開発すること。
• ラベル付き経路に依存せず、環境が提供する報酬のみを用いて、GNNベースのSFCモデルのエンドツーエンド学習を可能にすること。
• 変化するVNFの位置やネットワーク構造下でも、SFC経路生成の耐障害性を向上させること。

提案手法

• 経路の有効性と遅延ペナルティを組み合わせたカスタム報酬関数を用い、REINFORCEアルゴリズムでGNNベースのSFCモデルを訓練した。
• スパースな報酬信号を設計：成功時に+1、失敗時に-1、遅延ペナルティはハイパーパramータ λ でスケーリングした。
• トレーニング中に2種類のトポロジー拡張戦略を導入：ランダムなノード/エッジの追加・削除、ランダムなVNF再配置により、多様なネットワーク状態をシミュレートした。
• 先行研究と同一のGG-RNNアーキテクチャを用いたが、教師あり学習ではなく強化学習でファインチューニングした。
• ε = 0.01 を用いたε-greedy探索を導入し、探索と活用のバランスを取った。
• 1エピソードあたり100のランダムに生成されたトポロジーでモデルをトレーニングし、構造的多様性への露出を保証した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、高コストなILPソルバーからのラベル付き経路に依存せずに、SFCのためのGNNを訓練できるか？
• RQ2 教師あり学習と比較して、強化学習による訓練が未学習のネットワークトポロジーへの一般化に与える影響は何か？
• RQ3 報酬関数に遅延ペナルティを組み込むことで、強化学習で訓練されたモデルの経路品質は向上するか？
• RQ4 トレーニング中に異なるトポロジー拡張戦略を用いることで、構造的変化に対する耐障害性にどのような影響を与えるか？
• RQ5 強化学習で訓練されたSFCモデルは、新しいトポロジーでも高い性能を維持できるか？ また、元のトポロジーでも性能を保持できるか？

主な発見

• 元の 'internet2' トポロジーでは、RL手法が失敗率 0.00% と遅延率 1.01 を達成し、教師ありベースラインと同等の性能を示した。
• 変更されたランダムトポロジー（CS1）では、RLモデルの失敗率は 0.00% に低下したのに対し、教師あり手法は 1.00% にとどまり、優れた一般化性能を示した。
• 構造的変更とVNF再配置を伴うトポロジー（CS2）では、RLモデルは 0.00% の失敗率を維持したが、教師あり手法は 1.00% の失敗を示した。
• λ = 1（遅延ペナルティあり）で訓練されたモデルは遅延率 1.01 を達成し、λ = 0（ペナルティなし）の 1.00 よりわずかに劣ったが、動的環境下での経路品質が著しく向上した。
• CS2戦略で訓練されたRLモデルは、3番目のテストでCS1戦略よりも高い耐障害性を示し、トレーニング中により豊かなトポロジー変動を経験させることで適応性が向上することを示した。
• 劣化率指標により、RLモデルが教師ありモデルよりもトポロジーの変化に対してはるかに感受性が低く、柔軟性が裏付けられた。