[論文レビュー] PsPIN: A high-performance low-power architecture for flexible in-network compute

Salvatore Di Girolamo, Andreas Kurth+6 more|arXiv (Cornell University)|Oct 7, 2020

Software-Defined Networks and 5G参考文献 47被引用数 4

ひとこと要約

PsPIN は、400 Gbit/s でのパケット処理に適した、オープンソースで RISC-V ベースのインネットワークコンピューティングアクセラレータである。sPIN プログラミングモデルを実装し、ユーザー定義の C/C++ ハンドラを軽量な処理クラスタ上でパケットを並列に実行可能であり、64 B パケットで 26 ns の遅延を達成、面積は 18.5 mm²（22 nm FDSOI）である。

ABSTRACT

The capacity of offloading data and control tasks to the network is becoming increasingly important, especially if we consider the faster growth of network speed when compared to CPU frequencies. In-network compute alleviates the host CPU load by running tasks directly in the network, enabling additional computation/communication overlap and potentially improving overall application performance. However, sustaining bandwidths provided by next-generation networks, e.g., 400 Gbit/s, can become a challenge. sPIN is a programming model for in-NIC compute, where users specify handler functions that are executed on the NIC, for each incoming packet belonging to a given message or flow. It enables a CUDA-like acceleration, where the NIC is equipped with lightweight processing elements that process network packets in parallel. We investigate the architectural specialties that a sPIN NIC should provide to enable high-performance, low-power, and flexible packet processing. We introduce PsPIN, a first open-source sPIN implementation, based on a multi-cluster RISC-V architecture and designed according to the identified architectural specialties. We investigate the performance of PsPIN with cycle-accurate simulations, showing that it can process packets at 400 Gbit/s for several use cases, introducing minimal latencies (26 ns for 64 B packets) and occupying a total area of 18.5 mm 2 (22 nm FDSOI).

研究の動機と目的

• 現代のデータセンタで顕著になっているネットワーク速度（例：400 Gbit/s）と CPU の処理能力の間の性能ギャップを解消すること。
• アプリケーション論理をネットワークインターフェースカード（NIC）に直接オフロードすることで、柔軟で高スルーレートかつ低遅延のパケット処理を可能にすること。
• パケット用のプログラマブルでユーザー定義のハンドラをサポートしつつ、低消費電力および低面積オーバーヘッドを維持するアーキテクチャを設計すること。
• モジュラーでスケーラブルな RISC-V ベースの設計を用いて、400 Gbit/s のラインレート処理を実現する可能性を実証すること。

提案手法

• パケットハンドラを並列に実行できるように、軽量な処理要素を備えたマルチクラスタ RISC-V アーキテクチャを設計する。
• ユーザーが特定のパケットフローまたはメッセージ用に C/C++ ハンドラを定義できる sPIN プログラミングモデルを実装する。
• パケットバッファとハンドラデータのための別々のバンクを持つ専用メモリサブシステムを統合し、競合を最小限に抑え、高スルーレートを実現する。
• サイクル正確なシミュレーションを用いて、シリアル化、チェックサム、キーバリュー操作などの複数のワークロードで性能を評価する。
• 制御論理の最小化と FDSOI 技術（22 nm）の活用により、面積および消費電力最適化を実現し、面積の 87% をメモリサブシステムが占める。
• モジュラーなクラスタ設計によりスケーラビリティを実現し、追加のクラスターやワイドなデータパスを用いて将来的に高いラインレートへの拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RISC-V ベースのイン-NIC アクセラレータは、最小限の遅延と低消費電力で 400 Gbit/s のラインレートパケット処理を維持できるか？
• RQ2 メモリのパーティショニング、クラスタの構成、処理要素の特化といったアーキテクチャ的選択が、性能と効率に与える影響は何か？
• RQ3 sPIN プログラミングモデルは、固定機能型または FPGA ベースのソリューションと比較して、どれほど柔軟でアプリケーション固有のパケット処理を可能にするか？
• RQ4 ハンドラの複雑さとパケットサイズが性能ボトルネックに与える影響は何か？ そして、アーキテクチャスケーリングによってそれらをどのように緩和できるか？
• RQ5 eBPF や P4、FPGA ベースのアクセラレータと比較して、PsPIN の面積および消費電力効率はどの程度か？

主な発見

• PsPIN は、シリアル化、チェックサム、キーバリュー操作を含む複数のワークロードで 400 Gbit/s のラインレート処理を達成した。
• 64 バイトパケットに対して最小 26 ns の遅延を達成し、低遅延のインネットワーク処理を実証した。
• 22 nm FDSOI 技術を用いた設計の総面積は 18.5 mm² であり、そのうち 87% がメモリサブシステムに割り当てられている。
• 消費電力の 52% がメモリに起因しており、将来的なスケーリングにおいてメモリ最適化が極めて重要であることが示された。
• 異なるパケットサイズ（256 B、1024 B、4096 B）におけるハンドラのクリティカルタイム（HCT）を分析した結果、コア数とラインレートのスケーリングをバランスさせる必要があることが判明し、ボトルネックを回避できる。
• モジュラーなクラスタアーキテクチャにより、パフォーマンスボトルネックにならずにスケーラブルなワークロード処理が可能であり、ワイドなデータパスや複数のアクセラレータを用いて将来的に 1 Tbit/s への拡張も可能である。