[论文解读] Dumbo-NG: Fast Asynchronous BFT Consensus with Throughput-Oblivious Latency

Yingzi Gao, Yuan Lu+4 more|arXiv (Cornell University)|Sep 1, 2022

Distributed systems and fault tolerance被引用 5

一句话总结

Dumbo-NG 提出了一种新颖的异步拜占庭容错（BFT）共识协议，通过将多值验证拜占庭协议（MVBA）与质量属性直接约化，实现了事务传播与异步一致性的并发执行，从而解决了吞吐量-延迟之间的权衡问题。其峰值吞吐量是 Dumbo 的 4–8 倍，Speeding-Dumbo 的 2–4 倍，sDumbo-DL 的 2–3 倍，同时保持了稳定且低延迟的性能，并确保所有诚实节点的事务都能被保证输出，消除了审查威胁，且无性能代价。

ABSTRACT

Despite recent progresses of practical asynchronous Byzantine fault tolerant (BFT) consensus, the state-of-the-art designs still suffer from suboptimal performance. Particularly, to obtain maximum throughput, most existing protocols with guaranteed linear amortized communication complexity require each participating node to broadcast a huge batch of transactions, which dramatically sacrifices latency. Worse still, the f slowest nodes' broadcasts might never be agreed to output and thus can be censored (where f is the number of faults). Implementable mitigation to the threat either uses computationally costly threshold encryption or incurs communication blow-up, thus causing further efficiency issues. We present Dumbo-NG, a novel asynchronous BFT consensus (atomic broadcast) to solve the remaining practical issues. Its technical core is a non-trivial direct reduction from asynchronous atomic broadcast to multi-valued validated Byzantine agreement (MVBA) with quality property. Most interestingly, the new protocol structure empowers completely concurrent execution of transaction dissemination and asynchronous agreement. This brings about two benefits: (i) the throughput-latency tension is resolved to approach peak throughput with minimal increase in latency; (ii) the transactions broadcasted by any honest node can be agreed to output, thus conquering the censorship threat with no extra cost. We implement Dumbo-NG and compare it to the state-of-the-art asynchronous BFT with guaranteed censorship resilience including Dumbo (CCS'20) and Speeding-Dumbo (NDSS'22). We also apply the techniques from Speeding-Dumbo to DispersedLedger (NSDI'22) and obtain an improved variant of DispersedLedger called sDumbo-DL for comprehensive comparison. Extensive experiments reveal: Dumbo-NG realizes better peak throughput performance and its latency can almost remain stable when throughput grows.

研究动机与目标

• 解决实际异步 BFT 共识中的根本性能瓶颈，即高吞吐量需要事务批处理，从而牺牲延迟。
• 消除现有协议中的审查威胁，即由于广播延迟，f 个最慢节点的事务可能永远无法达成一致。
• 将事务传播与共识一致过程解耦，以实现并发执行，从而解决吞吐量-延迟之间的张力。
• 在不引入通信膨胀或计算开销的前提下实现审查抵抗，确保所有诚实节点的事务都能被保证输出。
• 设计一种生产就绪的协议，具备有界内存使用和高效恢复机制，适用于慢速或崩溃节点。

提出的方法

• 提出从异步原子广播到具有质量属性的多值验证拜占庭协议（MVBA）的非平凡直接约化，确保诚实节点的输出被选中的概率至少为 1/2。
• 将事务传播（通过可靠广播）与共识（通过 MVBA）解耦，实现并发执行，消除吞吐量与延迟之间的依赖。
• 利用 GLL+22 MVBA 协议作为底层原 primitive，该协议支持高效、低延迟的一致性达成，并具备强活性保证。
• 在消息中集成法定人数证书，使慢速节点能够同步，而无需缓冲未来消息，降低内存压力，并实现高效恢复。
• 设计内存安全的执行模式，包括 MVBA 实例的提前终止和消息缓冲区清理，以支持生产部署中的有界内存使用。
• 借鉴 Speeding-Dumbo 和 DispersedLedger 的技术，构建 sDumbo-DL 以进行全面的性能对比，验证 Dumbo-NG 在不同网络规模下的优越性。

实验结果

研究问题

• RQ1 异步 BFT 共识能否在不损害活性或审查抵抗能力的前提下，同时实现高吞吐量和低延迟？
• RQ2 是否可能以一种保持安全性和效率的方式，将事务传播与共识一致过程解耦？
• RQ3 能否在不增加通信或计算成本的前提下，消除现有 BFT 协议中 f 个最慢节点事务可能被排除的审查威胁？
• RQ4 基于 MVBA 的新型共识协议在具有不同节点数量的地理分布网络中的性能如何扩展？
• RQ5 为实现生产环境中具有有界内存和高效恢复延迟或崩溃节点能力的部署，需要哪些系统级优化？

主要发现

• 在最多 64 个 AWS EC2 节点、分布在 16 个区域的实验中，Dumbo-NG 的峰值吞吐量是 Dumbo 的 4–8 倍。
• 其吞吐量比 Speeding-Dumbo 高 2–4 倍，比 sDumbo-DL 高 2–3 倍，表明在不同网络规模下均保持一致的性能提升。
• Dumbo-NG 的延迟保持稳定，且在所有测试协议中最低，即使吞吐量增加也未上升，证实了其吞吐量无关延迟的特性。
• 所有由诚实节点广播的事务均被保证输出，消除了先前协议中存在的审查威胁，且无需额外通信或计算开销。
• 通过消息清理、MVBA 实例的提前终止以及基于法定人数证书的同步机制，协议支持有界内存使用，支持生产环境部署。
• 法定人数证书的集成使慢速节点能够高效恢复，而无需缓冲未来消息，显著降低内存开销并提升系统韧性。