[論文レビュー] Performance Evaluation of the Quorum Blockchain Platform

Arati Baliga, I Subhod+2 more|arXiv (Cornell University)|Jul 19, 2018

Blockchain Technology Applications and Security参考文献 2被引用数 60

ひとこと要約

本論文は Quorum 2.0 の性能を評価し、RAFT と IBFT を比較し、マイクロベンチマークを用いてさまざまなワークロード、ブロック時間、プライベート契約と公開契約の違いの下でスループットとレイテンシを分析します。

ABSTRACT

Quorum is a permissioned blockchain platform built from the Ethereum codebase with adaptations to make it a permissioned consortium platform. It is one of the key contenders in the permissioned ledger space. Quorum supports confidentiality and privacy of smart contracts and transactions, and crash and Byzantine fault tolerant consensus algorithms. In this paper, we characterize the performance features of Quorum. We study the throughput and latency characteristics of Quorum with different workloads and consensus algorithms that it supports. Through a suite of micro-benchmarks, we explore how certain transaction and smart contract parameters can affect transaction latencies.

研究の動機と目的

• ワークロードとコンセンサスアルゴリズム全体にわたる Quorum の性能特性を特徴づける。
• 制御されたワークロードと異なるブロック時間の下でスループットとレイテンシを測定する。
• プライベート契約と公開契約が性能に与える影響を評価する。
• スマートコントラクトおよびペイロードのパラメータが取引のレイテンシに与える影響を特定する。
• Quorum 上でのアプリケーション開発者への設計指針を提供する。

提案手法

• Caliper を Quorum プラグインで拡張して、制御されたワークロードを生成し、スループットとレイテンシを測定する。
• 3（RAFT）または4（IBFT）ピアのプライベート Quorum ネットワークを、民生ハードウェア上で複数のクライアントと共に構築する。
• 書き込み専用、null、読み取り、混合などのワークロードを用いて実験を実施する。
• RAFT のスループットとレイテンシへの影響を調べるためにブロック時間を変化させる；RAFT と IBFT の性能を比較する。
• 読み取り/書き込みセット、キー-バリュー格納サイズ、ペイロードサイズを変化させたマイクロベンチマークを実施してレイテンシの影響を調べる。
• プライベート契約をデプロイして性能影響を測定し、暗号化/通信オーバーヘッドを調査する。

実験結果

リサーチクエスチョン

• RQ1 RAFT および IBFT のコンセンサスアルゴリズムは、ワークロード全体で Quorum のスループットとレイテンシにどのような影響を与えるか？
• RQ2 現実的なトランザクションレートの下で、ブロック時間パラメータの変更がスループットとレイテンシにどのように影響するか？
• RQ3 Quorum におけるプライベート契約と公開契約の性能影響はどのようなものか？
• RQ4 ペイロードサイズとキー-バリュー格納サイズは、エンドツーエンドの取引レイテンシにどのように影響するか？
• RQ5 より高いトランザクションレートとプライベート契約の使用下での Quorum のスケーラビリティ限界は何か？

主な発見

• RAFT の下では、ブロック時間に関係なくスループットは概ね一定だが、レイテンシはブロック時間が長くなると増加する。
• IBFT は RAFT より若干高いスループットを、約1500 tx/ 秒まで示すが、IBFT のレイテンシは RAFT より顕著に高くなる（しばしば2倍以上）。
• すべてのワークロードは負荷とともに線形にスケールし、少なくとも1650 tx/秒（3クライアント）まで水平スケーラビリティを示す。
• 読み取りワークロードはローカルルックアップのため最も低いレイテンシを示し、書き込みおよび null ワークロードはブロック時間とコンセンサス処理に支配される。
• プライベート契約は追加の暗号化/通信オーバーヘッドのため、高負荷でスループットを低下させる。観測された最大プライベート契約スループットは約900 tx/秒で、それを超えると発生する障害は Quorum コードのコンセンサス問題に起因していた。
• 読み取り/書き込みセットの大きさとトランザクション/イベントのペイロードが大きくなるとレイテンシは増加する。1 KB から 30 KB のペイロードはトランザクションレイテンシを約22-25%引き上げる。