[論文レビュー] Network Hardware-Accelerated Consensus

Huynh Tu Dang, Pietro Bressana+6 more|arXiv (Cornell University)|May 18, 2016

Distributed systems and fault tolerance参考文献 41被引用数 8

ひとこと要約

本稿では、P4を用いてプログラマブルなネットワークデバイスに直接Paxosプロトコルを実装する、ネットワークハードウェアアクセラレート型のコンセンサスシステムCAANSを提案する。これにより、パケット転送よりわずかに高い遅延でラインレートスループットを達成する。サーバーからコンセンサスロジックをネットワークに移譲することで、遅延を低減しスループットを向上させ、FPGA、NPU、ASICを含むさまざまなハードウェアアーキテクチャに移植可能であり、ソフトウェアベースのPaxosの即時置き換えが可能である。

ABSTRACT

Consensus protocols are the foundation for building many fault-tolerant distributed systems and services. This paper posits that there are significant performance benefits to be gained by offering consensus as a network service (CAANS). CAANS leverages recent advances in commodity networking hardware design and programmability to implement consensus protocol logic in network devices. CAANS provides a complete Paxos protocol, is a drop-in replacement for software-based implementations of Paxos, makes no restrictions on network topologies, and is implemented in a higher-level, data-plane programming language, allowing for portability across a range of target devices. At the same time, CAANS significantly increases throughput and reduces latency for consensus operations. Consensus logic executing in hardware can transmit consensus messages at line speed, with latency only slightly higher than simply forwarding packets.

研究の動機と目的

• データセンタにおけるソフトウェアベースのコンセンサスプロトコルの性能ボトルネックを解消するため、コンセンサスロジックをネットワークインfraに移行すること。
• FPGA、NPU、ASICなどのプログラマブルなネットワークハードウェアを活用して、高スループット・低遅延のコンセンサス処理を実現すること。
• 既存のソフトウェアライブラリと互換性があり、アプリケーションレベルで動作するPaxosのポータブルな実装を提供すること。
• 高水準なデータプレーンプログラミング言語を用いて、多様なプログラマブルなネットワークデバイス上でハードウェアアクセラレートコンセンサスの性能を評価すること。
• ネットワークハードウェアがアプリケーションロジックやネットワークトポロジへの変更なしに、コンセンサス性能を顕著に向上させられることを示すこと。

提案手法

• P4という高水準なデータプレーンプログラミング言語を用いて、完全なPaxosコンセンサスプロトコルを実装し、プログラマブルなネットワークデバイス間でのポータビリティを実現すること。
• コンセンサスロジックをネットワークスイッチおよびNICに直接デプロイし、コンセンサスメッセージをラインレートで処理・転送できること。
• Barefoot P4対応スイッチ、FPGA（例：Xilinx VC709、NetFPGA SUME）、NPU（例：Netronome NFP-6xxx）などの汎用プログラマブルハードウェアを用いて、データプレーンでコンセンサスロジックを実行すること。
• 既存のソフトウェアベースPaxos APIと互換性を持たせ、既存アプリケーションとのシームレスな統合を可能にするシステム設計を実施すること。
• ソフトウェアプロトコルスタックのオーバーヘッドを排除し、ネットワークホップ数を削減することで、メッセージ送信を最適化すること。
• FPGA、NPUなどの実機およびシミュレーション環境を含む、複数のハードウェアプラットフォーム上で性能を評価し、さまざまなネットワーク状態やワークロード下での挙動を検証すること。

実験結果

リサーチクエスチョン

• RQ1 サーバーからネットワークデバイスにコンセンサスロジックを効果的に移行させることで、プロトコルの正しさや互換性を損なわずに実現できるか？
• RQ2 プログラマブルなネットワークハードウェアは、ソフトウェア実装と比較して、コンセンサスプロトコルのスループットと遅延をどの程度改善できるか？
• RQ3 FPGA、ASIC、NPUなどの異なるプログラマブルなネットワークデバイス間で、ハードウェアアクセラレートコンセンサスの性能はどのように変化するか？
• RQ4 P4ベースのPaxos実装は、多様なネットワークハードウェアプラットフォームにわたってポータブルでありながら、ラインレート性能を達成できるか？
• RQ5 アプリケーションレイヤからネットワークレイヤにコンセンサスを移行させることで、エンドツーエンドのシステム性能とスケーラビリティにどのような影響を与えるか？

主な発見

• CAANSは10Gリンクでラインレートスループットを達成し、コンセンサストラフィックでネットワーク容量を完全に活用する。
• CAANSにおけるコンセンサスメッセージ送信の遅延は、単純なパケット転送とほとんど差がなく、ネットワーク内処理に起因するオーバーヘッドが最小限であることが示された。
• ソフトウェアスタックの処理を排除し、ネットワークホップ数を削減することで、CAANSはソフトウェアベースPaxosと比較してエンドツーエンドの遅延を顕著に低減した。
• CAANSはソフトウェアPaxosの即時置き換えが可能であり、同じAPIを維持しており、アプリケーションの変更なしに直接性能比較が可能である。
• P4をプログラミング抽象化として用いることで、FPGA、NPU、ASICを含む複数のハードウェアプラットフォームへのポータビリティが実現された。
• 実機およびシミュレーションでの評価により、学習者とアプリケーションが飽和している場合を除き、ネットワークが性能ボトルネックとなることが確認された。