[論文レビュー] Packet Routing with Graph Attention Multi-agent Reinforcement Learning

Xuan Mai, Quanzhi Fu+1 more|arXiv (Cornell University)|Jul 28, 2021

Software-Defined Networks and 5G参考文献 9被引用数 4

ひとこと要約

本稿では、グラフアテンションネットワーク（GAT）を活用して、ローカルなトポロジーやトラフィック情報に基づき、知的な分散ルーティング意思決定を可能にする、マルチエージェント強化学習フレームワーク「Deep Graph Attention Network Routing（DGATR）」を提案する。この手法は、特に動的かつ高負荷の状況下でも、エンドツーエンドのパケット遅延を低減し、ネットワーク負荷容量を向上させることで、ベースラインアルゴリズムを上回る性能を発揮する。

ABSTRACT

Packet routing is a fundamental problem in communication networks that decides how the packets are directed from their source nodes to their destination nodes through some intermediate nodes. With the increasing complexity of network topology and highly dynamic traffic demand, conventional model-based and rule-based routing schemes show significant limitations, due to the simplified and unrealistic model assumptions, and lack of flexibility and adaption. Adding intelligence to the network control is becoming a trend and the key to achieving high-efficiency network operation. In this paper, we develop a model-free and data-driven routing strategy by leveraging reinforcement learning (RL), where routers interact with the network and learn from the experience to make some good routing configurations for the future. Considering the graph nature of the network topology, we design a multi-agent RL framework in combination with Graph Neural Network (GNN), tailored to the routing problem. Three deployment paradigms, centralized, federated, and cooperated learning, are explored respectively. Simulation results demonstrate that our algorithm outperforms some existing benchmark algorithms in terms of packet transmission delay and affordable load.

研究の動機と目的

• 動的で複雑なネットワークトポロジーやトラフィックパターンに対応できない、従来のモデルベースおよびルールベースのルーティングプロトコルの限界を解消すること。
• 簡素化された仮定に依存せず、リアルタイムのネットワーク状態に適応可能な、モデルフリーでデータ駆動型のルーティング戦略を、深層強化学習を用いて開発すること。
• ネットワークトポロジのグラフ構造を活用し、グラフニューラルネットワーク（GNN）とアテンションメカニズムをマルチエージェントRLフレームワークに統合することで、より優れたルーティング方策学習を実現すること。
• スケーラビリティ、安定性、パフォーマンスの観点から、集中型、フェデレーテッド、協調学習の3つの展開パラダイムを評価・比較すること。

提案手法

• 各ルータを、キュー長やトポロジ情報といったローカルネットワーク状態を観測し、価値ベースの深層強化学習アルゴリズムを用いて次ホップのアクションを選択する独立したエージェントとしてモデル化する。
• エージェントごとにグラフアテンションネットワーク（GAT）を採用し、隣接ノードからの情報を集約・処理することで、ネットワークグラフ内の関係的依存性を捉え、潜在的な構造的特徴を抽出する。
• GATベースのアーキテクチャにより、エージェントはローカル観測と広範なネットワークトポロジからの文脈的情報の両方を基にルーティング意思決定が可能になる。
• 収束を加速させるために、事前に熟練したQルーティングポリシーによって生成された遷移を用いた事前学習を組み合わせ、オフポリシーの経験リプレイを用いて訓練を実施する。
• パrameterと勾配の共有方法の違いにより、探索と安定性のバランスを取る点で異なる集中型、フェデレーテッド、協調学習の3つの学習パラダイムを評価した。
• 深層強化学習（DRL）の価値ベースアプローチを採用し、Deep Q-Networks（DQN）をインspiredとして、大規模な状態・行動空間を扱える関数近似として深層ニューラルネットワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフアテンション機構を活用するマルチエージェント強化学習フレームワークは、エンドツーエンド遅延と負荷容量の観点で、従来のアルゴリズムおよび深層学習ベースのルーティングアルゴリズムを上回ることができるか？
• RQ2 GATを用いてグラフ構造と関係的情報を統合することで、完全結合DNNと比較して、ルーティング方策学習にどのような向上効果が得られるか？
• RQ3 動的ネットワーク負荷下におけるマルチエージェントルーティングにおいて、集中型、フェデレーテッド、協調学習のパラダイムには、どのようなパフォーマンスのトレードオフがあるか？
• RQ4 エキスパートデモンストレーションによる事前学習は、複雑なルーティング環境において、学習の加速と初期ポリシー性能の向上にどの程度寄与するか？

主な発見

• DGATRは、DNNベースの関数近似によるより優れた探索と一般化性能のおかげで、高負荷状態下でもQルーティングやハイブリッドQ学習アルゴリズムを著しく上回るエンドツーエンド遅延性能を発揮する。
• 6×6グリッドネットワークにおいて、5,000ステップの事前学習後、負荷1.0での平均エンドツーエンド遅延が5.631にまで低下し、同じ条件下でDQNルーティングが達成した6.304を上回る。
• 協調学習パラダイムは、負荷3.0において最低の遅延（8.486 ± 0.02）と最高の安定性を達成し、平均遅延と分散の両面で集中型およびフェデレーテッド学習を上回る。
• DGATRは、遅延が急激に上昇するまでのネットワーク負荷をより高く維持でき、最短パスやQルーティングに比べて優れた適応性を示し、グローバル集中型ルーティングの性能に近づく。
• GATベースのアーキテクチャを採用することで、DQNルーティングに比べて収束が速く、パフォーマンスが優れていることから、グラフに適応した特徴抽出がルーティング方策の質を向上させることを示している。
• 事前学習は学習を著しく加速させ、DGATRはわずか3,000ステップの事前学習で近似的に最適な性能に到達するが、DQNルーティングは4,000ステップ以上を要する。