[論文レビュー] Make TCP Great (again?!) in Cellular Networks: A Deep Reinforcement Learning Approach.

Soheil Abbasloo, Chen-Yu Yen+1 more|arXiv (Cornell University)|Dec 26, 2019

Network Traffic and Congestion Control参考文献 23被引用数 5

ひとこと要約

本稿では、TCPバージョンを置き換えずに、セルラーネットワークにおける既存のTCPバージョンの性能を向上させる深層強化学習（DRL）ベースのプラグインであるDeepCCを提案する。動的環境における最適なコングェスチョン制御意思決定を学習することで、DeepCCはスループットを顕著に向上させ、遅延を低減し、レガシーモードおよび最新のTCP（CubicやBBRなど）が、Aurora、Sprout、Remyなどの最先端プロトコルをtraceベースおよび実環境評価において上回る性能を発揮できるようにする。

ABSTRACT

Can we instead of designing just another new TCP, design a TCP extit{plug-in} which can boost the performance of the existing/future TCP designs in cellular networks? To answer this question, we introduce DeepCC plug-in. DeepCC leverages deep reinforcement learning (DRL), a modern decision-making tool, to steer TCP toward achieving applications' desired delay and high throughput in a highly dynamic network such as the cellular network. The fact that DeepCC does not try to reinvent/replace TCP but aims to boost the performance of it differentiates it from the most (if not all) of the existing reinforcement learning (RL) systems where RL systems are considered clean-slate alternative designs replacing the traditional ones. We used DeepCC plug-in to boost the performance of various old and new TCP schemes including TCP Cubic, Google's BBR, TCP Westwood, and TCP Illinois in cellular networks. Through both extensive trace-based evaluations and in-field tests, we show that not only DeepCC can significantly improve the performance of TCP, but also after accompanied by DeepCC, these schemes can outperform state-of-the-art TCP protocols including Aurora, Sprout, Verus, C2TCP, Copa, Indigo, Remy, PCC-Vivace, and LEDBAT in cellular networks.

研究の動機と目的

• 高動的なセルラーネットワークにおける既存のTCPバージョンの性能制限を解消すること。
• プロトコルを完全に再設計せずに、プラグインベースのアプローチがTCP性能を向上させられるかどうかを検討すること。
• ネットワークの動的変化に適応し、遅延とスループットの両方を同時に改善する強化学習システムを開発すること。
• レガシーモードおよび最新の設計を含む多様なTCPバージョンに対して、プラグインの有効性を評価すること。
• 実世界およびtraceベースのセルラーネットワーク環境において、強化されたTCPバージョンが最先端プロトコルを上回ることを実証すること。

提案手法

• DeepCCは、RTTや損失率などのリアルタイムのネットワークフィードバックに基づいて、最適なコングェスチョン制御行動を学習するため、深層強化学習（DRL）を採用する。
• DRLエージェントは、スループットと遅延の両方をバランスさせる報酬関数を最大化することを目的として訓練される。これは、アプリケーションレベルのパフォーマンス目標を反映している。
• DeepCCは透過的なプラグインとして動作し、コア論理やアルゴリズムを変更せずに、既存のTCPスタックとインターフェースをとる。
• DRLフレームワーク（例：DQNやPPO）を用いて、ネットワーク状態に応じてコングェスチョンウィンドウやパーキングレートを動的に調整する方策を学習する。
• トレーニングは、実際のセルラーネットワークトレースを用いたトレース駆動型シミュレーションにより実施され、エージェントが多様なネットワークダイナミクスに一般化できるようにする。
• プラグインは、エミュレーションテストベッドおよび実際の4G/5Gセルラーリンクでの実環境測定の両方で検証されている。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのプラグインは、TCPを置き換えることなく、既存のTCPバージョンの性能を顕著に向上させることができるか？
• RQ2 DeepCCは、Cubic、BBR、Westwood、Illinoisなどの多様なTCPバージョンにおいて、スループットをどのように向上させ、遅延をどのように低減するか？
• RQ3 DeepCCを搭載したTCPバージョンは、実世界のセルラーネットワーク環境において、Aurora、Sprout、Remyなどの最先端のコングェスチョン制御プロトコルをどの程度上回るか？
• RQ4 高移動性やバースト損失を伴うネットワークダイナミクスの変化に対し、DRLポリシーの耐性はどの程度高いか？
• RQ5 再トレーニングなしに、異なるTCP実装およびネットワーク条件に一般化可能か？

主な発見

• DeepCCは、セルラーネットワークにおけるTCP Cubic、BBR、Westwood、Illinoisのスループットを顕著に向上させ、遅延を低減する。
• DeepCC統合後、これらのTCPバージョンは、Aurora、Sprout、Verus、C2TCP、Copa、Indigo、Remy、PCC-Vivace、LEDBATといった最先端プロトコルを、traceベースおよび実環境評価の両方で上回る。
• 性能向上は、高移動性や変動する損失パターンを伴う多様なネットワーク条件においても一貫している。
• DRLベースのプラグインは、下位のTCPスタックを変更することなく、安定的かつ適応的動作を達成する。
• 実環境テストにより、シミュレーションで観測された改善効果が、実際の4Gおよび5Gセルラーデプロイメントに効果的に反映されることを確認した。
• プラグインアプローチにより、後方互換性を保ちながら、クリーンシートTCP設計と同等またはそれ以上のパフォーマンスを実現できる。