[論文レビュー] BLOCKBENCH: A Framework for Analyzing Private Blockchains

Tien Tuan Anh Dinh, Ji Wang+4 more|arXiv (Cornell University)|Mar 12, 2017

Blockchain Technology Applications and Security被引用数 210

ひとこと要約

Blockbenchは、実世界のワークロードと合成ワークロードを用いて、コンセンサス層、データ層、実行層を横断して、許可型ブロックチェーンプラットフォーム（Ethereum、Parity、Hyperledger）を比較する初のベンチマークフレームワークを提供します。スループット、遅延、スケーラビリティ、フォールトトレランスを測定します。

ABSTRACT

Blockchain technologies are taking the world by storm. Public blockchains, such as Bitcoin and Ethereum, enable secure peer-to-peer applications like crypto-currency or smart contracts. Their security and performance are well studied. This paper concerns recent private blockchain systems designed with stronger security (trust) assumption and performance requirement. These systems target and aim to disrupt applications which have so far been implemented on top of database systems, for example banking, finance applications. Multiple platforms for private blockchains are being actively developed and fine tuned. However, there is a clear lack of a systematic framework with which different systems can be analyzed and compared against each other. Such a framework can be used to assess blockchains' viability as another distributed data processing platform, while helping developers to identify bottlenecks and accordingly improve their platforms. In this paper, we first describe BlockBench, the first evaluation framework for analyzing private blockchains. It serves as a fair means of comparison for different platforms and enables deeper understanding of different system design choices. Any private blockchain can be integrated to BlockBench via simple APIs and benchmarked against workloads that are based on real and synthetic smart contracts. BlockBench measures overall and component-wise performance in terms of throughput, latency, scalability and fault-tolerance. Next, we use BlockBench to conduct comprehensive evaluation of three major private blockchains: Ethereum, Parity and Hyperledger Fabric. The results demonstrate that these systems are still far from displacing current database systems in traditional data processing workloads. Furthermore, there are gaps in performance among the three systems which are attributed to the design choices at different layers of the software stack.

研究の動機と目的

• Blockbenchを、公正で拡張性のある、私設ブロックチェーンを評価するフレームワークとして紹介する。
• 現実的なワークロードに対してベンチマークするために、シンプルなAPIを介して任意の私設ブロックチェーンの統合を可能にする。
• 合意（コンセンサス）、データモデル、実行層全体のパフォーマンスを評価し、ボトルネックと設計上のトレードオフを特定する。
• 従来のデータ処理ワークロードに対する私設ブロックチェーンの実現性についての洞察を提供する。

提案手法

• 四層のブロックチェーン抽象化（コンセンサス、データモデル、実行、アプリケーション）と対応するワークロードを定義する。
• 共通APIでベンチマークを可能にするため、Ethereum、Parity、Hyperledger向けのBlockbenchバックエンドを実装する。
• マクロベンチマークワークロード（YCSB風のキーバリュー・ストア、Smallbank OLTP、 EtherId、Doubler、WavesPresale）とマイクロベンチマーク（DoNothing、IOHeavy、CPUHeavy、Analytics）を開発する。
• 模擬ネットワーク故障と分割攻撃の下で、スループット、遅延、スケーラビリティ、フォールトトレランス、セキュリティを測定する。
• バックエンド間でブロック確定データを収集するため、非同期トランザクション送信とポーリングを処理するドライバを提供する。

実験結果

リサーチクエスチョン

• RQ1 プライベートブロックチェーンワークロードに対して、Ethereum、Parity、Hyperledgerはスループット、遅延、スケーラビリティの観点でどう比較されるか？
• RQ2 異なるプラットフォームで、コンセンサス層、データ層、実行層でどのようなボトルネックが現れるか？
• RQ3 フォールト-tレランスとセキュリティ（分岐、パーティション攻撃）は、私設ブロックチェーンの性能にどのように影響するか？
• RQ4 私設ブロックチェーンは、従来のデータベースと比較して、データベースのようなワークロードと分析を効率的にサポートできるか？

主な発見

• Hyperledgerは、7つのベンチマーク全体で他の2つのシステムを一貫して上回る。
• ブロックチェーンの性能は、従来のデータ処理ワークロードに対して最先端データベースには遠く及ばない。
• コンセンサスプロトコルが、EthereumとHyperledgerにおけるアプリケーション層の性能ギャップの大部分を説明する。
• Parity は実行で処理のボトルネックを示し、Ethereum と Parity は実行層およびデータ層にボトルネックを示す。
• 評価されたシナリオでは、Hyperledgerは16ノードを超えてスケールできないというスケーラビリティの限界がある。
• Blockbenchはベースラインを提供し、私設ブロックチェーンプラットフォームのさらなる最適化を推進するボトルネックを特定する。