[논문 리뷰] Evaluating Permissioned Blockchain Using Stochastic Modeling and Chaos Engineering

Shiv Sondhi, Sherif Saad외 3명|arXiv (Cornell University)|2023. 01. 14.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 정상 및 장애 발생 네트워크 조건에서 합의 프로토콜 성능을 평가하기 위해 확률적 모델링과 혼돈 공 ingeneering을 사용하여 허가된 블록체인 플랫폼을 평가한다. 연구 결과, 확률적 모델은 상대적 성능에 대한 효율적인 통찰을 제공하지만, 실제 플랫폼 아키텍처가 실제 성능에 크게 영향을 미친다는 점을 확인하였으며, Hyperledger Fabric와 Tendermint와 같은 플랫폼 간에 동일한 합의 프로토콜이 매우 다른 성능을 보일 수 있음을 시사한다.

ABSTRACT

Blockchain and distributed ledger technologies rely on distributed consensus algorithms. In recent years many consensus algorithms and protocols have been proposed; most of them are for permissioned blockchain networks. However, the performance of these algorithms is not well understood. This paper introduces an approach to evaluating consensus algorithms and blockchain platforms in a hostile network environment with the presence of byzantine and other network failures. The approach starts by using stochastic modeling to model the behaviors of consensus algorithms under different typical and faulty operational scenarios. Next, we implemented a blockchain application using different consensus protocols and tested their performance using chaos engineering techniques. To demonstrate our generic evaluation approach, we analyze the performance of four permissioned blockchain platforms and their consensus protocols. Our results showed that stochastic modeling is an inexpensive and efficient technique for analyzing consensus protocols. But they do not represent the actual performance of the consensus protocols in a production environment. Moreover, an experiment with chaos engineering indicates that if two different blockchain platforms use the same blockchain algorithm or protocol, we should not assume they will have similar performance. Therefore, It is also essential to consider the role of platform architecture and how the protocols are engineered in a given platform.

연구 동기 및 목표

• 정상 및 장애 발생 네트워크 조건에서 허가된 블록체인 플랫폼의 성능을 평가하기 위해.
• 합의 프로토콜 행동을 평가하는 데 있어 확률적 모델링과 실제 블록체인 배포의 효과성을 비교하기 위해.
• 플랫폼 고유의 아키텍처 선택이 합의 프로토콜 성능에 어떻게 영향을 미치는지 조사하기 위해.
• 비잔틴 및 네트워크 장애 상황에서 실제 블록체인 시스템 행동을 예측하는 데 있어 확률적 모델의 신뢰성을 평가하기 위해.
• 동일한 합의 프로토콜이 서로 다른 블록체인 플랫폼 간에 매우 다른 성능 결과를 낳을 수 있음을 보여주기 위해.

제안 방법

• 지연, 패킷 손실, 비잔틴 장애를 포함한 다양한 네트워크 장애 상황에서 합의 행동을 시뮬레이션하기 위해 확률적 오토마타를 사용한 확률적 모델을 개발하였다.
• Hyperledger Fabric, Tendermint, Clique, Raft의 네 가지 허가된 플랫폼에 각각의 네이티브 합의 프로토콜을 사용하여 경량 블록체인 애플리케이션을 구현하였다.
• 네트워크 지연 및 메시지 손상과 같은 제어된 장애를 주입하여 시스템의 내성 및 성능을 스트레스 상황에서 평가하기 위해 혼돈 공 ingeneering을 적용하였다.
• 정상 및 장애 발생 조건 하에서의 처리량, 지연, 시스템 로드 용량과 같은 핵심 성능 메트릭을 측정하였다.
• 플랫폼 고유의 설계 요소의 영향을 분리하여 플랫폼 간 상대적 성능을 비교하기 위해 표준화된 벤치마킹 접근 방식을 사용하였다.
• 확률적 모델 결과와 실제 배포 결과를 연관시켜 모델 정확도와 플랫폼 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 정상 및 장애 발생 조건에서 합의 프로토콜 성능을 예측하는 데 있어 확률적 모델과 실제 블록체인 배포 간의 비교는 어떻게 되는가?
• RQ2 플랫폼 고유의 아키텍처 결정이 서로 다른 블록체인 플랫폼 간에 동일한 합의 프로토콜의 성능에 어느 정도의 영향을 미치는가?
• RQ3 지연 및 메시지 손상과 같은 네트워크 장애가 다양한 합의 프로토콜의 처리량과 지연에 어떻게 영향을 미치는가?
• RQ4 확률적 모델링이 실제 배포 결과와 일치하는 방식으로 합의 프로토콜의 성능을 신뢰성 있게 순위 매길 수 있는가?
• RQ5 합의 알고리즘 자체를 초월하여 플랫폼 구현이 실제로 블록체인 시스템의 성능을 결정하는 데 어떤 역할을 하는가?

주요 결과

• 확률적 모델은 합의 프로토콜 행동 분석에 있어 비용 효율적이고 효율적인 방법을 제공하며 상대적 성능 추세를 보여주지만, 실제 환경에서의 절대 성능을 정확히 예측하지 못한다.
• 동일한 합의 프로토콜의 성능은 플랫폼 간에 크게 다를 수 있다: 예를 들어, PBFT는 모델 예측보다 실제 배포에서 성능이 열 劣했다. 반면, Tendermint은 기대를 초월한 성능을 보였다.
• 부하 및 장애 조건 하에서 Tendermint과 Clique는 PBFT와 Raft보다 더 높은 처리량과 장애 내성 성능을 보였으며, Clique는 손상된 메시지 상황에서도 안정적인 성능을 유지하였다.
• 플랫폼 아키텍처는 성능에 결정적인 영향을 미친다: 예를 들어, Tendermint의 설계는 모델 예측보다 높은 지연을 유발했고, Fabric의 구현은 성능 향상을 위해 최적화가 필요했다.
• 결과적으로 동일한 합의 프로토콜(예: PBFT)이 기반 블록체인 플랫폼에 따라 매우 다른 실제 성능을 보일 수 있음을 확인하였으며, 이는 프로토콜에 관계없이 성능이 동일하다는 가정을 무효화한다.
• 혼돈 공 ingeneering은 실제 실패 상황에서의 시스템 행동이 모델로는 완전히 포괄되지 않음을 드러내었으며, 플랫폼 인식 평가의 필요성을 강조한다.