[論文レビュー] MVFST-RL: An Asynchronous RL Framework for Congestion Control with Delayed Actions

Viswanath Sivakumar, Delalleau, Olivier+7 more|arXiv (Cornell University)|Oct 9, 2019

Network Traffic and Congestion Control参考文献 13被引用数 33

ひとこと要約

mvfst-rlを紹介する、遅延行動を持つQUICでの混雑制御のための非同期強化学習フレームワーク。IMPALAとPantheonエミュレータを用いたオフポリシー補正を適用。

ABSTRACT

Effective network congestion control strategies are key to keeping the Internet (or any large computer network) operational. Network congestion control has been dominated by hand-crafted heuristics for decades. Recently, ReinforcementLearning (RL) has emerged as an alternative to automatically optimize such control strategies. Research so far has primarily considered RL interfaces which block the sender while an agent considers its next action. This is largely an artifact of building on top of frameworks designed for RL in games (e.g. OpenAI Gym). However, this does not translate to real-world networking environments, where a network sender waiting on a policy without sending data leads to under-utilization of bandwidth. We instead propose to formulate congestion control with an asynchronous RL agent that handles delayed actions. We present MVFST-RL, a scalable framework for congestion control in the QUIC transport protocol that leverages state-of-the-art in asynchronous RL training with off-policy correction. We analyze modeling improvements to mitigate the deviation from Markovian dynamics, and evaluate our method on emulated networks from the Pantheon benchmark platform. The source code is publicly available at https://github.com/facebookresearch/mvfst-rl.

研究の動機と目的

• Blocking RL エージェントを現実世界のネットワークに適した非同期フレームワークへ置換する動機づけ。
• 遅延する行動を含むMDPとして混雑制御を定式化し、行動履歴を捉える拡張状態を導入する。
• QUICベースの mvfst、TorchBeast IMPALA、Pantheon ネットワークエミュレータを用いて mvfst-rl を開発・評価する。
• オフポリシー補正 (V-trace) が、送信者をブロックせずに非同期訓練を可能にすることを示す。
• ネットワークシナリオと報酬正規化戦略全体における頑健性と一般化の課題を調査する。

提案手法

• 遅延する行動を含むMDPとして混雑制御を定式化し、行動の履歴を含む拡張状態を用いる。
• 離散アクション空間を定義し、cwndを更新する (cwnd, cwnd/2, cwnd-10, cwnd+10, cwnd×2) と、スループットと遅延をバランスする報酬を設定する。
• 環境をブロックせずに訓練するため、V-traceオフポリシー補正を用いたIMPALAに基づく非同期アクター-批評家フレームワークを使用する。
• mvfst (QUIC) を Pantheon ネットワークエミュレータと TorchBeast と統合し、分散訓練を行い、訓練後に TorchScript でデプロイを可能にする。
• シナリオごとの平均と標準偏差のオンライン推定を用いた報酬正規化を組み込み、複数シナリオの訓練を安定化させる。
• LSTMベースのモデル本幹を採用し、ポリシーヘッドとバリューヘッドを用い、エピソード終了時に値をブートストラップして長期的な影響を緩和する。

実験結果

リサーチクエスチョン

• RQ1 実ネットワークの行動遅延を考慮して、非同期RLで混雑制御を学習するにはどうすればよいか？
• RQ2 最近の行動履歴を状態に付加することは、遅延した行動下での学習を改善するか？
• RQ3 オフポリシー補正付きの非同期訓練（V-trace）は、競争力のある混雑制御性能を生み出せるか？
• RQ4 mvfst-rl は未知のネットワークシナリオにどれだけ一般化できるか、また報酬正規化がこれにどう影響するか？
• RQ5 LSTMの含有とエントロピー正則化が訓練の安定性と性能に与える影響は何か？

主な発見

• mvfst-rl は キャリブレートされた Pantheon エミュレータ上で意味のあるスループット-遅延のトレードオフを実現し、ランダムアクションのベースラインを上回る。
• このモデルは、高スループットな混雑制御と比較してスループットは低めだが遅延も低めになる傾向があり、報酬設定を通じた調整可能なトレードオフを示す。
• 未知の RTT を持つネットワークシナリオや小さめのバッファは一般化を劣化させ、訓練条件への過剰適合を示唆する。
• エントロピー正則化は慎重に調整する必要がある。少なすぎると不安定になり、多すぎると性能が低下する。
• LSTM を含めると、非再現性のないモデルに比べ性能が顕著に向上し、部分観測下でのメモリの役割を示している。