[論文レビュー] Evaluating Permissioned Blockchain Using Stochastic Modeling and Chaos Engineering

Shiv Sondhi, Sherif Saad+3 more|arXiv (Cornell University)|Jan 14, 2023

Blockchain Technology Applications and Security被引用数 4

ひとこと要約

本稿では、確率的モデリングとカオス工学を用いて、通常および障害発生時のネットワーク状態下における承認済みブロックチェーンプラットフォームのパフォーマンスを評価する。確率的モデルは相対的なパフォーマンスの洞察を効率的に提供するが、実際のプラットフォームアーキテクチャが実世界の結果に顕著な影響を及ぼすことが判明しており、Hyperledger Fabric や Tendermint といった異なるプラットフォームでは、同一のコンSENSUSプロトコルであってもパフォーマンスが著しく異なることが示された。

ABSTRACT

Blockchain and distributed ledger technologies rely on distributed consensus algorithms. In recent years many consensus algorithms and protocols have been proposed; most of them are for permissioned blockchain networks. However, the performance of these algorithms is not well understood. This paper introduces an approach to evaluating consensus algorithms and blockchain platforms in a hostile network environment with the presence of byzantine and other network failures. The approach starts by using stochastic modeling to model the behaviors of consensus algorithms under different typical and faulty operational scenarios. Next, we implemented a blockchain application using different consensus protocols and tested their performance using chaos engineering techniques. To demonstrate our generic evaluation approach, we analyze the performance of four permissioned blockchain platforms and their consensus protocols. Our results showed that stochastic modeling is an inexpensive and efficient technique for analyzing consensus protocols. But they do not represent the actual performance of the consensus protocols in a production environment. Moreover, an experiment with chaos engineering indicates that if two different blockchain platforms use the same blockchain algorithm or protocol, we should not assume they will have similar performance. Therefore, It is also essential to consider the role of platform architecture and how the protocols are engineered in a given platform.

研究の動機と目的

• 通常および障害発生時のネットワーク状態下における承認済みブロックチェーンプラットフォームのパフォーマンスを評価すること。
• コンセンサスプロトコルの挙動を評価する際、確率的モデリングと実際のブロックチェーンデプロイメントの有効性を比較すること。
• プラットフォーム固有のアーキテクチャ的選択がコンセンサスプロトコルのパフォーマンスに与える影響を調査すること。
• ビザンチン障害およびネットワーク障害下における実世界のブロックチェーンシステム挙動を予測する際に、確率的モデルの信頼性を評価すること。
• 同一のコンセンサスプロトコルが、異なるブロックチェーンプラットフォーム間で著しく異なるパフォーマンス結果を示すことを実証すること。

提案手法

• 遅延、パケット損失、ビザンチン障害を含むさまざまなネットワーク障害下でのコンセンサス挙動をシミュレートするために、確率的オートマトンを用いた確率的モデリングを実施した。
• Hyperledger Fabric、Tendermint、Clique、Raft の4つの承認済みブロックチェーンプラットフォームに、それぞれのネイティブコンセンサスプロトコルを用いて、軽量なブロックチェーンアプリケーションを実装した。
• ネットワーク遅延やメッセージ破損といった制御された障害を注入することで、カオス工学的手法を適用し、システムの耐障害性およびストレス下でのパフォーマンスを評価した。
• スループット、レイテンシ、システム負荷耐性といった主要なパフォーマンス指標を、通常状態および障害発生状態の両方で測定した。
• プラットフォーム固有の設計要因の影響を分離するため、標準化されたベンチマーキング手法を用いて、プラットフォームおよびプロトコル間の相対的パフォーマンスを比較した。
• 確率的モデルの結果と実デプロイメントの結果を照合することで、モデルの正確性およびプラットフォームの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 通常および障害発生時の状態下において、確率的モデリングと実際のブロックチェーンデプロイメントは、コンセンサスプロトコルのパフォーマンス予測においてどのように比較されるか？
• RQ2 プラットフォーム固有のアーキテクチャ的決定は、異なるブロックチェーンプラットフォーム間で同一のコンセンサスプロトコルのパフォーマンスにどの程度の影響を及ぼすか？
• RQ3 遅延やメッセージ破損といったネットワーク障害は、異なるコンセンサスプロトコルのスループットおよびレイテンシにどのように影響するか？
• RQ4 確率的モデリングは、実世界のデプロイメント結果と整合する形で、コンセンサスプロトコルのパフォーマンスを信頼性高く順位付けできるか？
• RQ5 コンセンサスアルゴリズムそのもの以上の要因として、プラットフォーム実装がブロックチェーンシステムの実際のパフォーマンスに果たす役割は何か？

主な発見

• 確率的モデリングは、コンセンサスプロトコル挙動の分析に費用対効果が高く、相対的なパフォーマンストレンドを示すが、生産環境における絶対的パフォーマンスを正確に予測することはできない。
• 同じコンセンサスプロトコルでも、プラットフォーム間でのパフォーマンスに顕著な差が生じる：例えば、PBFTはモデルの予測より実デプロイでパフォーマンスが悪化した一方、Tendermint は予想を上回るパフォーマンスを示した。
• Tendermint および Clique は、負荷および障害状態下で PBFT や Raft よりも優れたスループットと障害耐性を示した。特に Clique は破損したメッセージに対しても安定したパフォーマンスを維持した。
• プラットフォームアーキテクチャはパフォーマンスに決定的な影響を及ぼす：たとえば、Tendermint の設計により、予測より高いレイテンシが発生した一方、Fabric の実装はパフォーマンス向上のための最適化を要した。
• 結果として、同一のコンセンサスプロトコル（例：PBFT）であっても、基盤となるブロックチェーンプラットフォームによって実世界のパフォーマンスが著しく異なることが示され、プロトコルに依存しないパフォーマンスの仮定は誤りであることが判明した。
• カオス工学により、障害発生時の実世界のシステム挙動がモデルで完全に捉えられていないことが明らかになった。これにより、プラットフォームに配慮した評価手法の必要性が強調された。