[论文解读] Dispel: Byzantine SMR with Distributed Pipelining

Gauthier Voron, Vincent Gramoli|arXiv (Cornell University)|Dec 22, 2019

Distributed systems and fault tolerance参考文献 44被引用 14

一句话总结

Dispel 是一种新颖的拜占庭状态机复制（SMR）协议，通过基于副本本地资源可用性的动态方式在多个副本间生成共识实例，采用分布式流水线技术，使 128 个节点的吞吐量达到 HotStuff 的 12 倍。该协议通过去中心化流水线设计缓解了队首阻塞（head-of-line blocking）问题，提升了容错能力，在 380 个节点的规模下仍保持可扩展性，且在区块链工作负载中未出现网络瓶颈。

ABSTRACT

Byzantine State Machine Replication (SMR) is a long studied topic that received increasing attention recently with the advent of blockchains as companies are trying to scale them to hundreds of nodes. Byzantine SMRs try to increase throughput by either reducing the latency of consensus instances that they run sequentially or by reducing the number of replicas that send messages to others in order to reduce the network usage. Unfortunately, the former approach makes use of resources in burst whereas the latter requires CPU-intensive authentication mechanisms. In this paper, we propose a new Byzantine SMR called Dispel (Distributed Pipeline) that allows any node to distributively start new consensus instances whenever they detect sufficient resources locally. We evaluate the performance of Dispel within a single datacenter and across up to 380 machines over 3 continents by comparing it against four other SMRs. On 128 nodes, Dispel speeds up HotStuff, the Byzantine fault tolerant SMR being integrated within Facebook's blockchain, by more than 12 times. In addition, we also test Dispel under isolated and correlated failures and show that the Dispel distributed design is more robust than HotStuff. Finally, we evaluate Dispel in a cryptocurrency application with Bitcoin transactions and show that this SMR is not the bottleneck.

研究动机与目标

• 解决大规模部署中因队首阻塞（HOL blocking）和网络使用不均衡导致的拜占庭 SMR 性能瓶颈问题。
• 克服 HotStuff 等协议中基于领导者的流水线机制的局限性，避免单点故障和资源争用问题。
• 通过基于本地资源探测在副本间分布流水线决策，实现在大规模网络中高吞吐、可扩展的 SMR。
• 评估在大规模区块链系统中，共识开销是否仍是性能瓶颈，特别是在真实网络条件下的表现。
• 证明在加密货币工作负载中，即使在跨三大洲分布的 380 个节点环境下，性能瓶颈也来自加密计算成本，而非网络通信。

提出的方法

• Dispel 引入了一种分布式流水线机制，当副本检测到空闲的网络接口（NIC）带宽和足够的可用内存时，可自主启动新的共识实例。
• 协议通过在副本之间多条通信路径上均衡分布二次方级的消息负载，避免网络拥塞并减少队首阻塞的影响。
• 每个副本独立监控其本地资源，并在无需协调的情况下启动新的流水线周期，实现动态、自适应的资源利用。
• Dispel 采用事件驱动、运行至完成的模型，仅使用极少数线程，仅在需要执行加密操作（如哈希和门限签名）时创建专用线程。
• 系统利用跨异构链路（同数据中心和跨数据中心）的 TCP 连接分发负载，提升吞吐量，尤其在大规模场景下优势显著。
• 协议采用流水线化共识模型，允许多个共识实例并行推进，从而在不增加消息复杂度的前提下提升吞吐量。

实验结果

研究问题

• RQ1 分布式流水线能否显著提升拜占庭 SMR 协议的吞吐量，超越基于领导者的流水线机制？
• RQ2 在高网络速率下，队首阻塞在多大程度上限制了 SMR 的性能？能否通过架构设计有效缓解？
• RQ3 与集中式领导者模型相比，将流水线启动决策去中心化到各副本是否能提升容错能力与对单节点故障的鲁棒性？
• RQ4 在大规模、地理分布式的部署中，SMR 区块链的性能瓶颈是网络带宽还是加密计算成本？
• RQ5 在多链路间均衡网络负载的前提下，SMR 协议能否在不降低消息复杂度的情况下，有效扩展至 100 个以上节点？

主要发现

• 在 128 个节点下，Dispel 的吞吐量比 Facebook 区块链所用的 SMR 协议 HotStuff 高出 12 倍以上，主要得益于有效的负载均衡和队首阻塞的减少。
• Dispel 的分布式流水线设计使其在孤立或相关性故障下仍能保持高性能，即使在节点故障情况下也能处理每秒 15 万个请求。
• 该协议表明，队首阻塞是高速 SMR 中的关键性能瓶颈，此前在低速网络系统中被掩盖。
• 在采用比特币风格交易的加密货币工作负载中，Dispel 表明共识协议已不再是性能瓶颈，性能瓶颈转而由本地加密计算成本决定，而非网络带宽。
• Dispel 在跨三大洲分布的 380 个节点上实现了有效扩展，性能保持稳定且可扩展，表明只要负载均衡得当，网络复杂性并不会天然限制吞吐量。
• 评估结果证实，与集中式流水线相比，分布式流水线在吞吐量和容错能力方面均表现更优，尤其在大规模和异构网络环境中优势显著。