[論文レビュー] Deep Reinforcement Learning meets Graph Neural Networks: exploring a routing optimization use case

Paul Almasan, José Suárez‐Varela+3 more|arXiv (Cornell University)|Oct 16, 2019

Digital Transformation in Industry被引用数 46

ひとこと要約

本論文は、グラフニューラルネットワークを用いて見知らぬネットワークトポロジーに対するルーティング最適化を一般化するDRLエージェントを提案し、新規トポロジーに対する最先端のDRLを上回る。

ABSTRACT

Deep Reinforcement Learning (DRL) has shown a dramatic improvement in decision-making and automated control problems. Consequently, DRL represents a promising technique to efficiently solve many relevant optimization problems (e.g., routing) in self-driving networks. However, existing DRL-based solutions applied to networking fail to generalize, which means that they are not able to operate properly when applied to network topologies not observed during training. This lack of generalization capability significantly hinders the deployment of DRL technologies in production networks. This is because state-of-the-art DRL-based networking solutions use standard neural networks (e.g., fully connected, convolutional), which are not suited to learn from information structured as graphs. In this paper, we integrate Graph Neural Networks (GNN) into DRL agents and we design a problem specific action space to enable generalization. GNNs are Deep Learning models inherently designed to generalize over graphs of different sizes and structures. This allows the proposed GNN-based DRL agent to learn and generalize over arbitrary network topologies. We test our DRL+GNN agent in a routing optimization use case in optical networks and evaluate it on 180 and 232 unseen synthetic and real-world network topologies respectively. The results show that the DRL+GNN agent is able to outperform state-of-the-art solutions in topologies never seen during training.

研究の動機と目的

• トレーニング中に見られないトポロジーに対して強い一般化性を持つネットワーク最適化におけるDRLの必要性を動機づける。
• グラフ構造のネットワーク上で一般化するルーティングポリシーを学習する、GNNを強化したDRLエージェントを導入する。
• DRL+GNNエージェントが合成および実世界のトポロジーの両方でSoA DRLを上回ることを示す。
• デプロイ性、低推論オーバーヘッド、及びプロダクションネットワークにおけるスケーラビリティの意味を示す。

提案手法

• グラフ構造のネットワークトポロジー上で動作するよう、グラフニューラルネットワークと深層強化学習を統合する。
• ルーティングアクションを、ソース・デスティネーションペアごとにk=4短経路を用いるグラフ埋め込みの選択として表現する。
• Q値を読み出しDNNを持つGNNによって推定するDQN風の目的関数を用いる。
• リンクレベルの特徴量（容量、betweenness）とアクションによって生じる帯域割り当てをワンホットエンコードされた入力として環境をモデル化する。
• RNNを用いたメッセージパッシング方式（MPNN）を適用し、リンク状態をTイテレーションにわたり進化させ、Q値を生成する。
• 経験再生とε-greedy探索で訓練する；SGDと正則化技術で最適化する。

実験結果

リサーチクエスチョン

• RQ1 GNNを組み込んだDRLエージェントは、訓練中に見られなかったネットワークトポロジーに対してルーティング決定を一般化できるか？
• RQ2 DRL+GNNアプローチは、合成と実世界のトポロジーの両方において最先端のDRLルーティング解とどう比較されるか？
• RQ3 トポロジーサイズ、リンク特徴、アクション空間設計が、一般化可能なルーティングポリシーの学習に与える影響は何か？
• RQ4 プロダクションライクなネットワークにデプロイしたときの推論オーバーヘッドとスケーラビリティはどの程度か？

主な発見

• DRL+GNNエージェントは未見のトポロジーに一般化し、NsfnetおよびGeant2トポロジーでSoA DRLを上回る。
• 180個の未見合成トポロジーと232個の未見実世界トポロジーの評価において、DRL+GNNアプローチはSoA DRLより高い帯域割り当てを達成する。
• 1つのトポロジー（Nsfnet）で訓練されたエージェントは、別のトポロジー（Geant2）でSoA DRLを上回ることができ、堅牢な一般化を示す。
• 本モデルはms規模の意思決定とネットワークサイズに比例した線形コストの増大で動作し、プロダクションライクな環境でのデプロイを支援する。
• リンクのbetweennessを特徴量として用いると収束を加速し、ポリシー学習を改善する。
• 新しいトポロジーに対して再訓練を必要としない普遍的なモデルを実現する。