[論文レビュー] Dispel: Byzantine SMR with Distributed Pipelining

Gauthier Voron, Vincent Gramoli|arXiv (Cornell University)|Dec 22, 2019

Distributed systems and fault tolerance参考文献 44被引用数 14

ひとこと要約

Dispelは、リソース利用状況に応じてリモートレプリカに動的にコンセンサスインスタンスを生成する分散パイプライン技術を用いる、新規なバシリンスティック状態機械再現（SMR）プロトコルである。128ノードでHotStuffに比べ12倍のスループットを達成し、ホスト・オブ・ライン（HOL）ブロッキングを軽減するとともに、故障耐性を向上させる。380ノードにまでスケーリング可能であり、ネットワークボトルネックが生じない暗号通貨ワークロードでも性能を発揮する。

ABSTRACT

Byzantine State Machine Replication (SMR) is a long studied topic that received increasing attention recently with the advent of blockchains as companies are trying to scale them to hundreds of nodes. Byzantine SMRs try to increase throughput by either reducing the latency of consensus instances that they run sequentially or by reducing the number of replicas that send messages to others in order to reduce the network usage. Unfortunately, the former approach makes use of resources in burst whereas the latter requires CPU-intensive authentication mechanisms. In this paper, we propose a new Byzantine SMR called Dispel (Distributed Pipeline) that allows any node to distributively start new consensus instances whenever they detect sufficient resources locally. We evaluate the performance of Dispel within a single datacenter and across up to 380 machines over 3 continents by comparing it against four other SMRs. On 128 nodes, Dispel speeds up HotStuff, the Byzantine fault tolerant SMR being integrated within Facebook's blockchain, by more than 12 times. In addition, we also test Dispel under isolated and correlated failures and show that the Dispel distributed design is more robust than HotStuff. Finally, we evaluate Dispel in a cryptocurrency application with Bitcoin transactions and show that this SMR is not the bottleneck.

研究の動機と目的

• 大規模な展開において、ヘッド・オブ・ライン（HOL）ブロッキングと不均衡なネットワーク使用が引き起こす性能ボトルネックを解消すること。
• HotStuffのようなプロトコルにおけるリーダー依存のパイプライン設計の限界を克服し、単一障害点とリソース競合を回避すること。
• リモートレプリカのローカルリソース検出に基づき、パイプライン意思決定を分散化することで、大規模ネットワークにおける高スループットかつスケーラブルなSMRを実現すること。
• 特に実世界のネットワーク環境下で、コンセンサスオーバーヘッドが大規模ブロックチェーンシステムにおける性能ボトルネックのまま残るかどうかを評価すること。
• 暗号通貨ワークロードにおいて、380の地理的に分散されたノードを含む環境でも、性能がネットワーク通信ではなく暗号コストによって制限されることを実証すること。

提案手法

• Dispelは、リモートレプリカがネットワークインターフェース（NIC）帯域幅に余剰が見られ、十分なメモリが確保できると判断した場合に、自ら新しいコンセンサスインスタンスを生成する分散パイプライン機構を導入する。
• プロトコルは、リモートレプリカ間の複数の通信ルートにわたってメッセージ負荷を均衡化することで、ネットワーク混雑を回避し、HOLブロッキングの影響を低減する。
• 各レプリカは自らのローカルリソースを独立して監視し、調整なしに新しいパイプラインエポックを開始することで、動的かつ適応的なリソース利用が可能になる。
• Dispelは、最小限のスレッドを用いたイベント駆動型で、走行完了（run-to-completion）のモデルを採用しており、ハッシュ計算やしきい値署名などの暗号操作にのみ専用スレッドを生成する。
• システムは、イントラおよびインターデータセンターリンクを含む異種のリンクを介したTCP接続を活用し、負荷分散と好適な送信効率（goodput）を実現する。特にスケーリング時には顕著な効果を示す。
• 複数のコンセンサスインスタンスが並列で進行するパイプライン型コンセンサスモデルを採用することで、メッセージ複雑性を減らさずにスループットを向上させる。

実験結果

リサーチクエスチョン

• RQ1 分散パイプライン設計は、リーダー依存のパイプライン設計を上回る、バシリンスティックSMRプロトコルの好適送信効率（goodput）を顕著に向上させ得るか？
• RQ2 高帯域幅ネットワーク環境下で、ヘッド・オブ・ライン（HOL）ブロッキングはSMR性能をどの程度制限するのか？ また、アーキテクチャ設計によってこれを軽減できるか？
• RQ3 リモートレプリカ間でパイプライン開始を分散化することで、中央集権的リーダー型モデルと比較して、故障耐性および単一ノード障害へのレジリエンスが向上するか？
• RQ4 大規模かつ地理的に分散された展開環境下で、SMRベースのブロックチェーンにおける性能ボトルネックは、ネットワーク帯域幅か、暗号コストのどちらが主因か？
• RQ5 複数のリンクにわたるネットワーク負荷を均衡化できれば、メッセージ複雑性を減らさずに100ノードを超えるスケーリングも、SMRプロトコルが効果的に可能になるか？

主な発見

• 128ノードの環境下で、DispelはFacebookのブロックチェーンで使用されているSMRプロトコルであるHotStuffに比べ、12倍以上のスループットを達成した。これは、効果的な負荷分散とHOLブロッキングの低減によるものである。
• Dispelの分散パイプライン設計により、孤立障害や相関障害が発生しても高い性能を維持でき、ノード障害が発生しても1秒間に15万件のリクエストを処理できた。
• プロトコルは、HOLブロッキングが高速SMRにおいて深刻な性能ボトルネックであることを示した。これは、従来のシステムでは低速なネットワーク帯域幅のため、以前は見えにくく隠れていた問題であった。
• Bitcoin風のトランザクションを含む暗号通貨ワークロードにおいて、Dispelはコンセンサスプロトコル自体がボトルネックではなく、性能はネットワーク帯域幅ではなく、ローカルな暗号コストによって制限されることを示した。
• Dispelは、3か国にまたがる380ノードにまで効果的にスケーリング可能であり、性能は安定的かつスケーラブルなままであり、負荷が適切に分散されていれば、ネットワーク複雑性がスループットを本質的に制限することはない。
• 評価結果から、分散パイプラインは、特に大規模かつ異種ネットワーク環境下で、スループットと故障耐性の両面で中央集権的パイプラインを上回ることが確認された。