[논문 리뷰] Performance Evaluation of the Quorum Blockchain Platform

Arati Baliga, I Subhod외 2명|arXiv (Cornell University)|2018. 07. 19.

Blockchain Technology Applications and Security참고 문헌 2인용 수 60

한 줄 요약

논문은 Quorum 2.0의 성능을 평가하고 RAFT와 IBFT를 비교하며, 마이크로 벤치마크를 사용해 다양한 워크로드, 블록 타임, 프라이빗 대 퍼블릭 계약에서 처리량과 지연 시간을 분석한다.

ABSTRACT

Quorum is a permissioned blockchain platform built from the Ethereum codebase with adaptations to make it a permissioned consortium platform. It is one of the key contenders in the permissioned ledger space. Quorum supports confidentiality and privacy of smart contracts and transactions, and crash and Byzantine fault tolerant consensus algorithms. In this paper, we characterize the performance features of Quorum. We study the throughput and latency characteristics of Quorum with different workloads and consensus algorithms that it supports. Through a suite of micro-benchmarks, we explore how certain transaction and smart contract parameters can affect transaction latencies.

연구 동기 및 목표

• Quorum의 워크로드 및 합의 알고리즘 전반에 걸친 성능 특징 특성화.
• 제어된 워크로드와 서로 다른 블록 타임에서의 처리량 및 지연 측정.
• 성능에 대한 프라이빗 대 퍼블릭 계약의 영향 평가.
• 스마트 계약 및 페이로드 매개변수가 거래 지연에 미치는 영향 식별.
• Quorum 위에 구축하는 애플리케이션 개발자를 위한 설계 가이드 제공.

제안 방법

• Quorum 플러그인을 갖춘 Caliper를 확장하여 제어된 워크로드를 생성하고 처리량과 지연을 측정.
• 3개의 피어(RAFT) 또는 4개의 피어(IBFT)와 다수의 클라이언트를 있는 프라이빗 Quorum 네트워크를 일반 상용 하드웨어로 설정.
• 쓰기 전용, 널(null), 읽기, 혼합 등 워크로드를 사용해 실험 수행.
• RAFT의 처리량에 대한 영향 연구를 위해 블록 타임을 변화시키고 RAFT 대 IBFT 성능을 비교.
• 읽기/쓰기 세트, 키-값 저장소 크기, 페이로드 크기를 변화시키며 지연에 미치는 영향을 연구하는 마이크로 벤치마크 수행.
• 개인 계약을 배포하여 성능 영향 측정 및 암호화/통신 오버헤드 조사.

실험 결과

연구 질문

• RQ1 RAFT와 IBFT 합의 알고리즘이 워크로드 전반에서 Quorum의 처리량과 지연에 어떤 영향을 미치는가?
• RQ2 실제 거래 속도에서 블록 타임 매개변수를 변경하면 처리량과 지연에 어떤 영향을 미치는가?
• RQ3 프라이빗 계약과 퍼블릭 계약 간의 Quorum 성능 차이는 무엇인가?
• RQ4 페이로드 크기와 키-값 저장소 크기가 엔드투엔드 거래 지연에 어떤 영향을 미치는가?
• RQ5 더 높은 거래 속도와 프라이빗 계약 사용에서 Quorum의 확장성 한계는 무엇인가?

주요 결과

• RAFT 하에서 처리량은 블록 시간에 관계없이 대략 일정하게 유지되며, 블록 시간이 길어질수록 지연이 증가한다.
• IBFT는 RAFT 대비 약 1500 tx/초까지는 약간 더 높은 처리량을 보이나, 지연은 IBFT가 훨씬 더 큰 편으로(대개 RAFT의 2배 이상) 나타난다.
• 모든 워크로드가 부하에 대해 선형적으로 확장되어, 최소 1650 tx/초(클라이언트 3명)의 경우에서도 수평적 확장성이 좋다.
• 읽기 워크로드는 로컬 조회로 인해 가장 낮은 지연을 보이고, 쓰기 및 널 워크로드는 블록 타임 및 합의 처리에 의해 지배된다.
• 프라이빗 계약은 추가 암호화/통신 오버헤드로 인해 고부하에서 처리량이 감소하며, 관찰된 최대 프라이빗 계약 처리량은 약 900 tx/초로, 그 이후의 실패는 Quorum 코드의 합의 이슈로 귀속된다.
• 읽기/쓰기 세트 및 트랜잭션/이벤트 페이로드가 커질수록 지연이 증가하며, 1 KB에서 30 KB의 페이로드는 거래 지연을 약 22-25% 증가시킨다.