[논문 리뷰] BLOCKBENCH: A Framework for Analyzing Private Blockchains

Tien Tuan Anh Dinh, Ji Wang외 4명|arXiv (Cornell University)|2017. 03. 12.

Blockchain Technology Applications and Security인용 수 210

한 줄 요약

Blockbench는 합의, 데이터, 실행 계층에서 실제 워크로드와 합성 워크로드를 사용하여 처리량, 지연, 확장성, 결함 허용성을 측정하며 권한형 블록체인 플랫폼(Ethereum, Parity, Hyperledger)을 비교하는 최초의 벤치마크 프레임워크를 제공합니다.

ABSTRACT

Blockchain technologies are taking the world by storm. Public blockchains, such as Bitcoin and Ethereum, enable secure peer-to-peer applications like crypto-currency or smart contracts. Their security and performance are well studied. This paper concerns recent private blockchain systems designed with stronger security (trust) assumption and performance requirement. These systems target and aim to disrupt applications which have so far been implemented on top of database systems, for example banking, finance applications. Multiple platforms for private blockchains are being actively developed and fine tuned. However, there is a clear lack of a systematic framework with which different systems can be analyzed and compared against each other. Such a framework can be used to assess blockchains' viability as another distributed data processing platform, while helping developers to identify bottlenecks and accordingly improve their platforms. In this paper, we first describe BlockBench, the first evaluation framework for analyzing private blockchains. It serves as a fair means of comparison for different platforms and enables deeper understanding of different system design choices. Any private blockchain can be integrated to BlockBench via simple APIs and benchmarked against workloads that are based on real and synthetic smart contracts. BlockBench measures overall and component-wise performance in terms of throughput, latency, scalability and fault-tolerance. Next, we use BlockBench to conduct comprehensive evaluation of three major private blockchains: Ethereum, Parity and Hyperledger Fabric. The results demonstrate that these systems are still far from displacing current database systems in traditional data processing workloads. Furthermore, there are gaps in performance among the three systems which are attributed to the design choices at different layers of the software stack.

연구 동기 및 목표

• Blockbench를 프라이빗 블록체인을 평가하기 위한 공정하고 확장 가능한 프레임워크로 소개한다.
• 현실적 워크로드에 대한 벤치마크를 위해 간단한 API를 통해 어떠한 프라이빗 블록체인이라도 통합할 수 있도록 한다.
• 합의, 데이터 모델, 실행 계층 전반에서 성능을 평가하여 병목 현상과 설계상의 트레이드를 식별한다.
• 전통적인 데이터 처리 워크로드에 대한 프라이빗 블록체인의 타당성에 대한 통찰을 제공한다.

제안 방법

• 합의, 데이터 모델, 실행, 애플리케이션의 네 계층 추상화와 대응하는 워크로드를 정의한다.
• Ethereum, Parity, Hyperledger용 Blockbench 백엔드를 구현하여 공통 API로 벤치마킹을 가능하게 한다.
• 매크로 벤치마크 워크로드( YCSB와 같은 키-값 저장소, Smallbank OLTP, EtherId, Doubler, WavesPresale) 및 마이크로 벤치마크(DoNothing, IOHeavy, CPUHeavy, Analytics)를 개발한다.
• 시뮬레이션된 네트워크 장애 및 파티션 공격 하에서 처리량, 지연, 확장성, 결함 허용성 및 보안을 측정한다.
• 백엔드 간 블록 확인 데이터를 수집하기 위해 비동기 트랜잭션 제출 및 폴링을 처리하는 드라이버를 제공한다.

실험 결과

연구 질문

• RQ1 프라이빗 블록체인 워크로드에 대한 처리량, 지연, 확장성에서 Ethereum, Parity, Hyperledger는 어떻게 비교되는가?
• RQ2 합의 계층, 데이터 계층, 실행 계층에서 서로 다른 플랫폼에서 어떤 병목 현상이 나타나는가?
• RQ3 포크, 파티션 공격 등의 결함 허용성과 보안이 프라이빗 블록체인의 성능에 어떻게 영향을 미치는가?
• RQ4 전통적인 데이터베이스에 비해 프라이빗 블록체인이 데이터베이스와 같은 워크로드 및 분석을 효율적으로 지원할 수 있는가?

주요 결과

• Hyperledger는 일곗 벤치마크에 걸쳐 다른 두 시스템을 일관되게 능가한다.
• 전통적인 데이터 처리 워크로드에 대해 블록체인 성능은 여전히 최첨단 데이터베이스보다 훨씬 낮다.
• 합의 프로토콜은 애플리케이션 계층 성능 격차의 주요 원인으로 Ethereum과 Hyperledger에서 작용한다.
• Parity는 실행 계층에서 처리 병목을 보이고, Ethereum과 Parity는 실행 및 데이터 계층에서 병목을 보인다.
• 평가된 시나리오에서 Hyperledger가 16 노드를 넘지 못하는 등 확장성에 한계가 있다.
• Blockbench는 기초선을 제공하고 프라이빗 블록체인 플랫폼의 추가 최적화를 위한 병목 현상을 식별한다.