[論文レビュー] FlexTOE: Flexible TCP Offload with Fine-Grained Parallelism

Rajath Shashidhara, Timothy Stamler+2 more|arXiv (Cornell University)|Oct 21, 2021

Software-Defined Networks and 5G被引用数 7

ひとこと要約

FlexTOE は、細粒度並列処理とセグメント再順序化を活用して TCP データパスをオフロードする、高性能で柔軟性に富んだ SmartNIC 向け TCP オフロードエンジンであり、POSIX ソケットおよび既存の TCP スタックと互換性を保ちながら動作する。TAS よりも最大 38% の Memcached スループット向上を達成し、Chelsio と比較してホスト CPU 使用率を最大 81% 減少させる。リソース制限のある SmartNIC でも競争力のある RPC パフォーマンスを実現する。

ABSTRACT

FlexTOE is a flexible, yet high-performance TCP offload engine (TOE) to SmartNICs. FlexTOE eliminates almost all host data-path TCP processing and is fully customizable. FlexTOE interoperates well with other TCP stacks, is robust under adverse network conditions, and supports POSIX sockets. FlexTOE focuses on data-path offload of established connections, avoiding complex control logic and packet buffering in the NIC. FlexTOE leverages fine-grained parallelization of the TCP data-path and segment reordering for high performance on wimpy SmartNIC architectures, while remaining flexible via a modular design. We compare FlexTOE on an Agilio-CX40 to host TCP stacks Linux and TAS, and to the Chelsio Terminator TOE. We find that Memcached scales up to 38% better on FlexTOE versus TAS, while saving up to 81% host CPU cycles versus Chelsio. FlexTOE provides competitive performance for RPCs, even with wimpy SmartNICs. FlexTOE cuts 99.99th-percentile RPC RTT by 3.2$ imes$ and 50% versus Chelsio and TAS, respectively. FlexTOE's data-path parallelism generalizes across hardware architectures, improving single connection RPC throughput up to 2.4$ imes$ on x86 and 4$ imes$ on BlueField. FlexTOE supports C and XDP programs written in eBPF. It allows us to implement popular data center transport features, such as TCP tracing, packet filtering and capture, VLAN stripping, flow classification, firewalling, and connection splicing.

研究の動機と目的

• TCP スタック処理によるデータセンター応用における CPU オーバーヘッドを低減すること。これは、1 CPU コアあたり最大 48% のサイクルを消費することがある。
• リソース制限のある環境下でも柔軟性や耐障害性を損なわず、完全な TCP データパスを SmartNIC にオフロードすること。
• Wimpy SmartNIC コアを効率的に活用し、トランスポート機能の動的カスタマイズを可能にするモジュラーかつデータ並列アーキテクチャを設計すること。
• NPU を搭載した SmartNIC が、拡張性を保ちつつスケーラブルかつ高性能な TCP オフロードを実現できることを実証すること。

提案手法

• TCP データパスを細粒度で状態保持可能なモジュールに分解し、明示的な通信とデータ並列パイプラインでの実行を実現する。
• リアルタイムでのセグメント再順序化により、パイプライン段階間での順序違い処理を可能にしつつ、アプリケーションへのセグメントの順序正しい配信を保証する。
• チェックサム、セグメント化、再送信などのすべてのデータパス処理を SmartNIC にオフロードし、接続状態と制御論理のみをホストメモリに保持する。
• コントロールプレーンを別途設け、効率的制御（例：混雑制御、再送信、接続管理）をホストまたは専用の SmartNIC コア上で実行する。
• 拡張性を実現するため eBPF XDP プログラムをサポートし、パケットフィルタリング、VLAN ストリッピング、フロー分類、接続スプライシングなどの機能を可能にする。
• セグメントを NIC にバッファリングしないワンショット処理モデルを採用し、ラテンシーや状態オーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 Wimpy SmartNIC アーキテクチャ上で、複雑なバッファリングや制御論理に依存せずに、柔軟な TCP オフロードエンジンが高性能を達成できるか？
• RQ2 細粒度並列処理とセグメント再順序化は、リソース制限のある SmartNIC における TCP オフロードのスループット向上とラテンシ低減にどのように寄与するか？
• RQ3 FlexTOE は、ソフトウェア TCP スタックおよび既存の TOE 解決策と比較して、ホスト CPU 使用率をどの程度低減できるか？
• RQ4 パケット損失やインシdent混雑などのネットワークストレス下でも、FlexTOE はどの程度の耐障害性を維持できるか？
• RQ5 FlexTOE のモジュラーかつ拡張性に富んだ設計は、パケットキャプチャ、ファイアウォール、接続スプライシングといった一般的なデータセンタートランスポート機能をサポートできるか？

主な発見

• Memcached は FlexTOE において TAS ソフトウェア TCP スタックと比較して最大 38% のスループット向上を達成した。
• Chelsio Terminator TOE と比較して、FlexTOE はホスト CPU 使用率を最大 81% 減少させ、アプリケーションのリソース消費を顕著に低減した。
• Chelsio と比較して 99.99 番目のパーセンタイル RPC RTT を 3.2 倍改善し、TAS と比較して 50% 減少させた。これは優れたラテンシ行動を示している。
• BlueField SmartNIC 上では、x86 と比較して FlexTOE が単一接続の RPC スループットを最大 4 倍に向上させた。これは、Wimpy アーキテクチャでも効果的であることを示している。
• 混雑状態下でも高い公平性を維持し、2,048 接続で Jains の公平性指数が 0.98 を達成した。これは Linux の 0.36 と比較して顕著な差である。
• FlexTOE のコントロールプレーンの混雑制御を無効化すると、テールラテンシが 18.8 倍に増加し、公平性が 2 倍低下した。これは、コントロールプレーンがパフォーマンスと安定性において極めて重要な役割を果たしていることを証明している。