[論文レビュー] Internet Congestion Control via Deep Reinforcement Learning

Nathan Jay, Noga H. Rotman+3 more|arXiv (Cornell University)|Oct 8, 2018

Software-Defined Networks and 5G参考文献 37被引用数 21

ひとこと要約

本稿では、混雑による損失と非混雑による損失を区別できるように学習することで、従来の最先端手法を上回る高いリンク利用率を達成する、深層強化学習（RL）に基づく混雑制御プロトコルであるAuroraを提案する。ローカルフィードバックに基づいて送信レートを適応させる深層ニューラルネットワークポリシーをRLで訓練し、動的ネットワーク環境下でも優れた性能を示す一方で、実世界への展開に際しての公平性、安全性、一般化の課題にも言及している。

ABSTRACT

We present and investigate a novel and timely application domain for deep reinforcement learning (RL): Internet congestion control. Congestion control is the core networking task of modulating traffic sources' data-transmission rates to efficiently utilize network capacity, and is the subject of extensive attention in light of the advent of Internet services such as live video, virtual reality, Internet-of-Things, and more. We show that casting congestion control as RL enables training deep network policies that capture intricate patterns in data traffic and network conditions, and leverage this to outperform the state-of-the-art. We also highlight significant challenges facing real-world adoption of RL-based congestion control, including fairness, safety, and generalization, which are not trivial to address within conventional RL formalism. To facilitate further research and reproducibility of our results, we present a test suite for RL-guided congestion control based on the OpenAI Gym interface.

研究の動機と目的

• 従来のプロトコル（例：TCP）の限界を克服するため、深層強化学習をインターネット混雑制御の新たなアプローチとして検討すること。
• ローカルフィードバックからのトラフィックおよびネットワーク状態の複雑なパターンを学習できる混雑制御プロトコルを実現し、効率性とユーザ体験の向上を図ること。
• 深層RLが動的かつ現実に近いネットワーク環境下で、既存の最先端混雑制御メカニズムを上回ることを評価すること。
• 実世界への展開を阻害する主な課題（公平性、安全性、一般化）を同定し、それらに対処すること。
• OpenAI Gym互換のテストスイートを用いて再現可能なベンチマークフレームワークを提供し、将来的なRLガイドド混雑制御研究を加速すること。

提案手法

• 著者らは、送信元の送信レートをローカルフィードバック履歴（例：RTT、損失パターン）に基づいて決定する深層ニューラルネットワークポリシーによって、混雑制御を逐次意思決定問題として定式化する。
• 長期的なネットワークユーティリティを最大化するように、報酬をスケーリングした深層Qネットワーク（DQN）または類似の深層RLアルゴリズムを用いてポリシーを訓練する。報酬関数はスループット、公平性、遅延を反映するように設計されている。
• 損失パターンと送信レートの変化の相関関係を観測することで、ポリシーはランダム（非混雑）損失と混雑による損失を区別する学習を行う。
• 可変帯域幅、バッファサイズ、損失率を想定したシミュレーテッド環境でシステムを訓練し、高いスループットと低い損失を促進する報酬関数を用いる。
• フレームワークはOpenAI Gymインタフェースを用いて実装されており、再現可能な評価と既存のRLベースラインとの統合を可能にしている。
• 深層RLで一般的なエクスペリエンスリプレイおよびターゲットネットワーク技術を活用することで、多様なネットワーク条件への一般化を支援する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、混雑による損失と非混雑による損失を区別できるか？その結果、従来のTCPバージョンよりも優れたレート適応が達成できるか？
• RQ2 可変ネットワーク条件下で、RLベースの混雑制御プロトコルは、TCP-CUBICなど最先端プロトコルをどの程度上回るか？特にリンク利用率とスループットの観点から。
• RQ3 実世界への展開を妨げる主な課題（公平性、安全性、一般化）は何か？それらは標準的なRL形式では容易に解決できないか？
• RQ4 オンライン学習（例：PCC）やオフライン最適化（例：Remy）と比較して、RLベースプロトコルの適応性と頑健性はどのように異なるか？
• RQ5 再トレーニングなしで、深層RLポリシーは多様なネットワークトポロジーやトラフィックパターンに一般化できるか？

主な発見

• Auroraは、1%のランダム損失を伴う30 Mbpsリンクにおいて、TCP-CUBICを上回る顕著な高いリンク利用率を達成し、非混雑損失に対して過剰反応することなく高いスループットを維持した。
• Auroraは、ランダム損失（混雑の兆候でない）の後は送信レートを増加させることを学習し、実際に混雑が原因の損失ではレート増加を回避するのを成功させた。
• 可変帯域幅やバッファサイズといった変化するネットワーク条件に適応できる能力により、動的環境下で優れた性能を示し、特定のシナリオではTCP-CUBICおよびPCCを上回った。
• 研究では、実世界へのRLベース混雑制御の展開を阻害する主な課題として、公平性、安全性、一般化が同定され、これらは標準的なRL形式では容易に解決できないことが示された。
• 著者らは、再現可能なテストスイート（OpenAI Gymベース）を公開し、標準化されたベンチマーク評価を可能にし、将来的な深層RLを用いた混雑制御研究の加速を図った。
• オフライン最適化（例：Remy）やオンライン学習（例：PCC）と比較して、Auroraは経験から学び、現実的でi.i.d.でない条件でも高い性能を達成する能力を持つ。