[논문 리뷰] Blockchain Goes Green? Part II: Characterizing the Performance and Cost of Blockchains on the Cloud and at the Edge

Dumitrel Loghin, Tien Tuan Anh Dinh외 4명|arXiv (Cornell University)|2022. 05. 14.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 x86/64 및 ARM 기반 클라우드 및 엣지 시스템을 포함한 다양한 하드웨어에서 Hyperledger Fabric와 ConsenSys Quorum의 성능과 비용을 평가하며, ARM 기반 Amazon Graviton 인스턴스가 Intel Xeon 서버보다 처리량과 비용 효율성 면에서 뛰어나며, 엣지 디바이스는 성능는 낮지만 인건비를 제외한 장기적인 비용 절감 효과가 크다는 것을 입증한다.

ABSTRACT

While state-of-the-art permissioned blockchains can achieve thousands of transactions per second on commodity hardware with x86/64 architecture, their performance when running on different architectures is not clear. The goal of this work is to characterize the performance and cost of permissioned blockchains on different hardware systems, which is important as diverse application domains are adopting t. To this end, we conduct extensive cost and performance evaluation of two permissioned blockchains, namely Hyperledger Fabric and ConsenSys Quorum, on five different types of hardware covering both x86/64 and ARM architecture, as well as, both cloud and edge computing. The hardware nodes include servers with Intel Xeon CPU, servers with ARM-based Amazon Graviton CPU, and edge devices with ARM-based CPU. Our results reveal a diverse profile of the two blockchains across different settings, demonstrating the impact of hardware choices on the overall performance and cost. We find that Graviton servers outperform Xeon servers in many settings, due to their powerful CPU and high memory bandwidth. Edge devices with ARM architecture, on the other hand, exhibit low performance. When comparing the cloud with the edge, we show that the cost of the latter is much smaller in the long run if manpower cost is not considered.

연구 동기 및 목표

• 클라우드 및 엣지 환경에서 x86/64 및 ARM 아키텍처를 포함한 다양한 하드웨어 아키텍처에서 허가 블록체인의 성능과 비용을 평가하기 위해.
• 특히 클라우드 및 엣지 환경에서 점점 더 널리 사용되는 ARM 기반 시스템에서의 블록체인 워크로드에 대한 체계적인 평가 부족 문제를 해결하기 위해.
• 하드웨어, 에너지 소비, 인건비를 포함한 블록체인 노드의 총소유비용(TCO)을 정량화하여, 투자 결정에 기초가 되는 정보를 제공하기 위해.
• 다양한 공인 알고리즘과 하드웨어 플랫폼에서 두 주요 허가 블록체인인 Hyperledger Fabric과 Quorum의 효율성을 비교하기 위해.
• 성능, 에너지 효율성, 장기적 비용을 바탕으로 애플리케이션 설계자 및 시스템 아키텍트가 최적의 하드웨어를 선택할 수 있도록 안내하기 위해.

제안 방법

• AWS Xeon(x86/64), AWS Graviton(ARM), 엣지 Xeon, NVIDIA Jetson TX2(ARM), Raspberry Pi 4(ARM)의 다섯 가지 하드웨어 플랫폼에서 Hyperledger Fabric과 Quorum의 광범위한 벤치마킹을 수행하였다.
• 다양한 워크로드와 노드 수에 따라 처리량(초당 트랜잭션 수)과 지연 시간(95프ctl)을 측정하여 성능를 평가하였다.
• 3년간의 수명 주기 동안 하드웨어 취득 비용, 평균 전력 소비 기반 에너지 소비, 인건비를 포함한 총소유비용(TCO)을 정량화하였다.
• 표준화된 TCO 공식을 사용하였다: $ C = N \cdot C_s + N \cdot T \cdot P_a \cdot C_{ph} + T \cdot C_{mh} $, 여기서 $ N $은 노드 수, $ C_s $는 노드 비용, $ T $는 시간(시간 단위)으로 측정된 수명 주기, $ P_a $는 평균 전력 소비, $ C_{ph} $는 kWh당 전기 요금, $ C_{mh} $는 시간당 인건비이다.
• Quorum에서 Raft(CFT)와 IBFT(BFT) 공인 알고리즘을 평가하여 서로 다른 장애내성 요구사항을 반영하였다.
• 운영 지속 가능성 평가를 위해 인건비 포함 및 제외 조건에서 클라우드(IaaS) 및 엣지 배포를 비교하였다.

실험 결과

연구 질문

• RQ1 클라우드 및 엣지 환경에서 x86/64 및 ARM 기반 하드웨어에서 허가 블록체인의 성능과 비용는 어떻게 달라지나?
• RQ2 Hyperledger Fabric과 Quorum에서 ARM 기반 Graviton 인스턴스의 성능와 x86/64 Xeon 서버에 비해 어떻게 다른가?
• RQ3 인건비를 포함하거나 제외할 경우 클라우드 및 엣지 배포 간 블록체인 노드의 총소유비용(TCO)은 어떻게 달라지는가?
• RQ4 성능는 낮지만 ARM CPU를 탑재한 엣지 디바이스는 비용상 어떤 이점이 있는가?
• RQ5 Quorum에서 Raft와 IBFT의 서로 다른 공인 알고리즘은 하드웨어 플랫폼 간 성능과 비용에 어떤 영향을 미치는가?

주요 결과

• ARM 기반 Amazon Graviton 클라우드 인스턴스는 Hyperledger Fabric에서 Xeon 기반 인스턴스보다 최대 10% 높은 처리량을 달성했으며, 주로 높은 CPU 성능와 2배 높은 메모리 대역폭 덕분에 35% 더 저렴했다.
• Quorum의 경우 Graviton 인스턴스는 Xeon 인스턴스보다 처리량이 25% 낮았지만 여전히 35%의 비용 절감 효과를 보였으며, 성능는 낮지만 비용 효율성이 뛰어나다는 것을 시사했다.
• Raspberry Pi 4 및 Jetson TX2와 같은 엣지 디바이스는 제한된 CPU 및 메모리 자원으로 인해 클라우드 인스턴스 대비 최대 10배 느린 성능을 보였다.
• 인건비를 제외한 조건에서 엣지 배포는 상당히 저렴했다: Xeon(엣지)는 1.5배 저렴했고, Jetson TX2는 10배, Raspberry Pi 4는 75배 저렴했다.
• 인건비를 포함한 조건에서는 엣지의 비용 우위가 뒤집혀져 평균적으로 클라우드 배포가 시간당 2배 더 저렴했다 (예: Xeon(클라우드)는 시간당 $0.476, Xeon(엣지)는 시간당 $0.884).
• 결과적으로 장기적 비용 절감 효과는 운영 인건비가 TCO에 포함되는지 여부에 따라 크게 달라지며, 이는 저유지, 저처리량 애플리케이션에 대해 엣지 배포가 더 실현 가능할 수 있음을 시사한다.