[论文解读] Evaluating Permissioned Blockchain Using Stochastic Modeling and Chaos Engineering

Shiv Sondhi, Sherif Saad+3 more|arXiv (Cornell University)|Jan 14, 2023

Blockchain Technology Applications and Security被引用 4

一句话总结

本文通过随机建模和混沌工程评估许可型区块链平台在正常和故障网络条件下的共识协议性能。研究发现，尽管随机模型能高效提供相对性能洞察，但实际平台架构对真实结果有显著影响，表明相同的共识协议在 Hyperledger Fabric 和 Tendermint 等平台上的表现可能截然不同。

ABSTRACT

Blockchain and distributed ledger technologies rely on distributed consensus algorithms. In recent years many consensus algorithms and protocols have been proposed; most of them are for permissioned blockchain networks. However, the performance of these algorithms is not well understood. This paper introduces an approach to evaluating consensus algorithms and blockchain platforms in a hostile network environment with the presence of byzantine and other network failures. The approach starts by using stochastic modeling to model the behaviors of consensus algorithms under different typical and faulty operational scenarios. Next, we implemented a blockchain application using different consensus protocols and tested their performance using chaos engineering techniques. To demonstrate our generic evaluation approach, we analyze the performance of four permissioned blockchain platforms and their consensus protocols. Our results showed that stochastic modeling is an inexpensive and efficient technique for analyzing consensus protocols. But they do not represent the actual performance of the consensus protocols in a production environment. Moreover, an experiment with chaos engineering indicates that if two different blockchain platforms use the same blockchain algorithm or protocol, we should not assume they will have similar performance. Therefore, It is also essential to consider the role of platform architecture and how the protocols are engineered in a given platform.

研究动机与目标

• 评估许可型区块链平台在正常和故障网络条件下的性能。
• 比较随机建模与真实区块链部署在评估共识协议行为方面的有效性。
• 研究平台特定的架构选择如何影响共识协议性能。
• 评估随机模型在预测拜占庭故障和网络故障下真实区块链系统行为方面的可靠性。
• 证明相同的共识协议在不同区块链平台上可能产生截然不同的性能结果。

提出的方法

• 使用概率自动机开发随机模型，以模拟在包括延迟、丢包和拜占庭故障在内的各种网络故障下共识行为。
• 在四个许可型平台——Hyperledger Fabric、Tendermint、Clique 和 Raft——上实现轻量级区块链应用，使用其原生共识协议。
• 通过注入受控故障（如网络延迟和消息损坏）实施混沌工程，以评估系统在压力下的弹性与性能。
• 测量关键性能指标：在正常和引入故障条件下的吞吐量、延迟和系统负载容量。
• 采用标准化基准测试方法，在隔离平台特定设计选择影响的前提下，比较各平台和协议的相对性能。
• 将随机模型结果与真实部署结果进行关联，以评估模型准确性和平台影响。

实验结果

研究问题

• RQ1 随机模型与真实区块链部署在预测正常和故障条件下共识协议性能方面有何差异？
• RQ2 平台特定的架构决策在多大程度上影响了相同共识协议在不同区块链平台上的性能？
• RQ3 网络故障（如延迟和消息损坏）如何影响不同共识协议的吞吐量和延迟？
• RQ4 随机建模能否可靠地按性能对共识协议进行排序，使其与真实部署结果一致？
• RQ5 平台实现本身在决定区块链系统实际性能方面扮演何种角色，超越共识算法本身？

主要发现

• 随机模型为分析共识协议行为提供了一种成本低且高效的方法，可揭示相对性能趋势，但无法准确预测生产环境中的绝对性能。
• 相同共识协议在不同平台上的性能表现存在显著差异：例如，PBFT 在实际部署中的表现低于模型预测，而 Tendermint 的表现则超出预期。
• 在负载和故障条件下，Tendermint 和 Clique 的吞吐量和容错能力优于 PBFT 和 Raft，其中 Clique 即使在消息损坏情况下也能保持稳定性能。
• 平台架构对性能具有关键影响：例如，Tendermint 的设计导致延迟高于预测值，而 Fabric 的实现则需经过优化才能提升性能。
• 结果表明，相同的共识协议（如 PBFT）在不同底层区块链平台上的实际性能可能大相径庭，这否定了协议无关性能的假设。
• 混沌工程揭示，真实故障下系统行为并未被模型完全捕捉，强调了需进行平台感知的评估。