[论文解读] DispersedLedger: High-Throughput Byzantine Consensus on Variable Bandwidth Networks

Lei Yang, Seo Jin Park+3 more|arXiv (Cornell University)|Oct 8, 2021

Distributed systems and fault tolerance参考文献 33被引用 14

一句话总结

DispersedLedger 是一种新型的异步拜占庭容错（BFT）共识协议，通过将区块共识与带宽密集型的区块下载解耦，使节点能够以各自的速度推进。通过使用可验证信息分发（VID）来保证数据可用性，并允许节点在完整下载前对区块摘要进行投票，其在真实广域网中的吞吐量比 HoneyBadger 高 2 倍，延迟降低 74%。

ABSTRACT

The success of blockchains has sparked interest in large-scale deployments of Byzantine fault tolerant (BFT) consensus protocols over wide area networks. A central feature of such networks is variable communication bandwidth across nodes and across time. We present DispersedLedger, an asynchronous BFT protocol that provides near-optimal throughput in the presence of such variable network bandwidth. The core idea of DispersedLedger is to enable nodes to propose, order, and agree on blocks of transactions without having to download their full content. By enabling nodes to agree on an ordered log of blocks, with a guarantee that each block is available within the network and unmalleable, DispersedLedger decouples bandwidth-intensive block downloads at different nodes, allowing each to make progress at its own pace. We build a full system prototype and evaluate it on real-world and emulated networks. Our results on a geo-distributed wide-area deployment across the Internet shows that DispersedLedger achieves 2x better throughput and 74% reduction in latency compared to HoneyBadger, the state-of-the-art asynchronous protocol.

研究动机与目标

• 解决在广域网（WAN）中由于网络带宽可变且不对称而导致的拜占庭容错（BFT）共识协议性能下降问题。
• 在带宽可变的广域网中实现高吞吐量共识，尤其当慢速节点（拖尾节点）因带宽波动而限制系统进度时。
• 将共识过程与完整区块下载解耦，使节点能够以各自带宽速率下载区块，而不会阻塞更快的节点。
• 即使节点带宽较低或波动，也通过可验证信息分发（VID）确保区块的数据可用性。
• 设计一种在时间与空间带宽变化下仍能保持高性能的系统，尤其适用于地理分布式的部署场景。

提出的方法

• 将 BFT 共识分解为两个阶段：(1) 对区块承诺（如默克尔根）达成一致，(2) 每个节点以自身带宽速率独立检索区块。
• 使用可验证信息分发（VID）在节点间存储和分发区块数据，确保数据可用性，并在拜占庭行为下仍能实现恢复。
• 允许节点在成功完成分发后立即对区块承诺进行投票，而无需等待完整区块下载完成。
• 将共识阶段与区块检索解耦，使共识进度不再受最慢节点的限制。
• 实现一种区块分发机制，每个节点使用纠删编码存储区块的一部分，并使用拜占庭一致性（BA）协议就分发完成达成一致。
• 通过允许节点在解码出区块后停止发送数据块，优化区块检索过程，减少冗余流量。

实验结果

研究问题

• RQ1 在带宽可变的广域网中，BFT 共识协议是否能在某些节点显著更慢的情况下实现接近最优的吞吐量？
• RQ2 如何将共识与带宽密集型的区块下载解耦，以防止拖尾节点限制系统吞吐量？
• RQ3 是否可以在不要求所有节点在投票前下载完整区块的情况下，保证区块的数据可用性？
• RQ4 该协议在时间与空间带宽变化下表现如何，尤其是在真实互联网部署中？
• RQ5 该协议在扩展至大规模集群（如 128 个节点）时，能在多大程度上保持高吞吐量和低延迟？

主要发现

• 在横跨 16 个主要城市的实际地理分布部署中，DispersedLedger 的吞吐量比 HoneyBadger 高 2 倍，延迟降低 74%。
• 在模拟为高斯-马尔可夫过程的带宽时间变化控制实验中，DispersedLedger 保持了恒定吞吐量，而 HoneyBadger 和使用链接机制的 HoneyBadger 分别出现了 20% 和 25% 的吞吐量下降。
• 随着区块大小和集群规模的增加，用于区块分发的流量比例下降，提升了可扩展性并减轻了慢速节点的负担。
• 当集群规模从 16 个节点增加到 128 个节点时，吞吐量略有下降，这是由于拜占庭一致性阶段的 O(N²) 消息开销所致；但通过增大区块大小以分摊固定开销，该问题得到缓解。
• 由于节点可在低带宽下参与共识，并在之后再追加下载区块，系统在带宽波动下依然保持稳健，对动态网络条件具有强韧性。
• 该协议的设计支持两级节点角色：高带宽节点可快速参与共识，而低带宽节点则能持续活跃而不阻塞系统。