[論文レビュー] Multi-Agent Q-Learning Aided Backpressure Routing Algorithm for Delay Reduction

Juntao Gao, Yulong Shen+2 more|arXiv (Cornell University)|Aug 23, 2017

Network Traffic and Congestion Control被引用数 5

ひとこと要約

本稿では、各ノードが隣接ノードからの局所的情報のみを用いてルートの混雑状態を推定できるようにする、マルチエージェントQラーニングを支援するバックプレッシャー（QL-BP）ルーティングアルゴリズムを提案する。この手法により、最新のBPminアルゴリズムと比較して遅延性能が顕著に向上し、軽負荷時において平均パケット遅延を95%低減し、中程度の負荷時においても41%の低減を達成した。分散動作を維持しながら、計算複雑性を低く抑え、スループット最適性を確保するため、各ノードに分散型Qラーニングエージェントを設け、局所的なキュー長およびルーティングデータを用いて反復的に混雑状態の推定値を精緻化する。

ABSTRACT

In queueing networks, it is well known that the throughput-optimal backpressure routing algorithm results in poor delay performance for light and moderate traffic loads. To improve delay performance, state-of-the-art backpressure routing algorithm (called BPmin [1]) exploits queue length information to direct packets to less congested routes to their destinations. However, BPmin algorithm estimates route congestion based on unrealistic assumption that every node in the network knows real-time global queue length information of all other nodes. In this paper, we propose multi-agent Q-learning aided backpressure routing algorithm, where each node estimates route congestion using only local information of neighboring nodes. Our algorithm not only outperforms state-of-the-art BPmin algorithm in delay performance but also retains the following appealing features: distributed implementation, low computation complexity and throughput-optimality. Simulation results show our algorithm reduces average packet delay by 95% for light traffic loads and by 41% for moderate traffic loads when compared to state-of-the-art BPmin algorithm.

研究の動機と目的

• 軽負荷および中程度の負荷下で、従来のバックプレッシャールーティングが示す悪化した遅延性能を是正すること。特に、過剰なルート探索が長時間の遅延を引き起こす要因となること。
• BPminにおいてノードが混雑状態を推定するためにリアルタイムでグローバルなキュー長情報が必要であるという現実的でない仮定を克服すること。
• グローバルな状態情報に依存せずに、分散型かつ低複雑性のルーティングアルゴリズムを設計し、スループット最適性を維持しながら遅延性能を顕著に向上させること。
• アドホックネットワークやセンサーネットワークなどの動的ネットワークにおけるスケーラブルかつ実用的な展開を可能にするために、グローバル状態知識に依存しないこと。

提案手法

• 各ネットワークノードは、隣接ノードからの局所的情報に基づいてルート混雑状態を推定する複数のQラーニングエージェントを配置する。
• 各Qラーニングエージェントは、隣接ノードからのリアルタイムのキュー長および混雑状態推定値を用いて、Qラーニングの更新則に従い混雑状態推定値を更新する。
• キュー長とルーティング意思決定の重み付き和を用いて、混雑度の低い経路へパケットを誘導する。これにより遅延を最小限に抑えつつ、スループット最適性を維持する。
• Qラーニングエージェントは分散型に動作し、中央集権的制御なしに各ノードが独立してルーティング意思決定を下せる。
• 局所的フィードバックから学習することで、経路選択における探索と活用のバランスを動的に制御し、時間経過とともに混雑状態推定が向上する。
• 本アルゴリズムは、古典的バックプレッシャーと同一の条件下でスループット最適性を維持することが、形式的に証明されている。

実験結果

リサーチクエスチョン

• RQ1 グローバルなキュー長情報が一切不要な状態で、BPminと比較して顕著に遅延性能が優れたバックプレッシャー路線ルーティングアルゴリズムを実現できるか？
• RQ2 マルチエージェントQラーニングによる局所的分散型混雑状態推定は、キューイングネットワークにおける遅延性能をどのように改善できるか？
• RQ3 Qラーニングに基づく局所的推定は、グローバル状態情報に依存するアルゴリズムと比較して、どの程度の性能を達成または上回ることができるか？
• RQ4 提案されたアルゴリズムは、軽負荷および中程度の負荷環境下で遅延を低減しながらも、スループット最適性を維持できるか？
• RQ5 完全分散型ルーティングフレームワークにおいて、遅延低減と計算複雑性のトレードオフはどのようなものか？

主な発見

• 提案されたQL-BPアルゴリズムは、軽負荷時の平均パケット遅延をBPminと比較して95%低減した。
• 中程度の負荷状態下では、QL-BPアルゴリズムはBPminと比較して平均パケット遅延を41%低減した。
• 本アルゴリズムはスループット最適性を維持しており、動的かつ不確実な状態下でも最大のネットワーク容量利用を保証する。
• 局所的情報のみを用いることにより、スケーラブルかつ分散型の展開が可能となり、グローバル状態の交換が不要になる。
• シミュレーション結果は、QL-BPアルゴリズムがBPminを遅延およびスケーラビリティの両面で上回ることを確認しており、特に低～中程度の負荷域で顕著な優位性を示した。
• Qラーニングエージェントが安定した混雑状態推定値に収束することを実証的に検証し、複数のネットワークトポロジーにわたり一貫した性能向上が得られた。