[논문 리뷰] Early Detection for Multiversion Concurrency Control Conflicts in Hyperledger Fabric

Helmi Trabelsi, Kaiwen Zhang|arXiv (Cornell University)|2023. 01. 15.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 Hyperledger Fabric에서 엔드오브베이스(EOV) 파이프라인의 엔드오르스먼트 단계에서 거래 충돌을 조기에 탐지하는 새로운 메커니즘인 EMVCC(Early Detection for MVCC Conflicts)를 제안한다. 이 메커니즘은 로컬 키 캐싱을 활용하여 종료 지연 시간을 크게 줄이고 양호도를 향상시킨다. 최고의 성능을 보인 SyncMap 구현은 기준 대비 최대 23%의 양호도 향상과 최대 80%의 지연 감소를 달성하며, 충돌이 발생할 가능성이 있는 거래를 EOV 파이프라인의 초기 단계에서 조기에 취소함으로써 성능을 향상시킨다.

ABSTRACT

Hyperledger Fabric is a popular permissioned blockchain system that features a highly modular and extensible system for deploying permissioned blockchains which are expected to have a major effect on a wide range of sectors. Unlike traditional blockchain systems such as Bitcoin and Ethereum, Hyperledger Fabric uses the EOV model for transaction processing: the submitted transactions are executed by the endorsing peer, ordered and batched by the ordering services, and validated by the validating peers. Due to this EOV workflow, a well-documented issue that arises is the multi-version concurrency control conflict. This happens when two transactions try to writes and read the same key in the ledger at the same time. Existing solutions to address this problem includes eliminating blocks in favor of streaming transactions, repairing conflicts during the ordering phase, and automatically merging the conflicting transactions using CRDT (Conflict Free Replicated Data) techniques. In this paper, we propose a novel solution called Early Detection for MVCC Conflicts. Our solution detects the conflicting transactions at an early stage of the transaction execution instead of processing them until the validation phase to be aborted. The advantage of our solution is that it detects conflict as soon as possible to minimize the overhead of conflicting transaction on the network resulting in the reduction of the end-to-end transaction latency and the increase of the system's effective throughput. We have successfully implemented our solution in Hyperledger Fabric. We propose three different implementations which realize early detection. Our results show that our solutions all perform better than the baseline Fabric, with our best solution SyncMap which improves the goodput by up to 23% and reduces the latency by up to 80%.

연구 동기 및 목표

• Hyperledger Fabric의 EOV 거래 모델에서 MVCC 충돌로 인한 성능 저하 문제를 해결하기 위해, 충돌이 검증 단계에서 늦게 발견되는 문제를 해결한다.
• 블록 공간을 차지하고 클라이언트 재시도가 필요한 실패한 거래의 오버헤드를 줄여 시스템 스루풋과 효율성을 향상시킨다.
• 주문 및 검증 단계 이전인 엔드오르스먼트 단계에서 충돌을 조기에 탐지함으로써 종료 지연 시간을 최소화한다.
• 충돌 가능성이 높은 거래를 사전에 식별하고 취소하여 네트워크 및 스토리지 자원을 소비하지 않도록 함으로써 시스템의 양호도를 향상시킨다.
• 기존 Fabric 아키텍처와 호환되며, 체인코드나 네트워크 설정에 최소한의 변경만으로도 배포 가능한 유연하고 모듈식 솔루션을 제공한다.

제안 방법

• 엔드오르스먼트 피어에 로컬 키 캐시를 도입하여 읽기/쓰기 세트를 추적하고 주문 이전에 잠재적 MVCC 충돌을 탐지한다.
• 성능와 일관성 간의 상충 관계를 고려해 다양한 동시성 데이터 구조를 사용한 세 가지 변형(SyncMap, Lock-Free, Mutex Lock)을 구현한다.
• EMVCC 탐지 로직을 엔드오르스먼트 단계에 통합하여, 검증 단계에서 버전 불일치로 인해 실패할 가능성이 있는 거래를 조기에 취소한다.
• 이론적 모델링을 통해 엔드오르스먼트 정책, 조직 수, 피어 분포 기반의 충돌 탐지 효과를 분석한다.
• 클라이언트에 대해 투명하고 MSP 및 체인코드 실행과 같은 기존 Fabric 컴포넌트와 호환되는 솔루션을 설계한다.
• 다양한 워크로드, 체인코드 액세스 패턴(지프 분포 사용), 네트워크 토폴로지에서의 평가를 통해 확장성과 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 Hyperledger Fabric의 EOV 파이프라인에서 MVCC 충돌을 검증 단계 이전에 조기에 탐지할 수 있는가? 이는 지연 시간 감소와 양호도 향상에 기여하는가?
• RQ2 엔드오르스먼트 정책(AND 대비 OR)의 선택이 조기 충돌 탐지의 효과성과 가짜 양성/가짜 음성 비율에 미치는 영향은 어떠한가?
• RQ3 네트워크 토폴로지, 특히 조직당 피어 수가 조기 충돌 탐지 성능에 미치는 영향은 어떠한가?
• RQ4 체인코드 액세스 패턴(예: 지프 분포에 따른 키 접근의 비균형)이 EMVCC의 탐지율과 성능 향상에 미치는 영향은 어떠한가?
• RQ5 동시성 데이터 구조 중에서 SyncMap, Lock-Free, Mutex Lock 중 어느 것이 성능, 확장성, 충돌 탐지 정확도 사이의 최적의 균형을 이룹니까?

주요 결과

• SyncMap 구현은 기준 Hyperledger Fabric 대비 최대 23% 높은 양호도와 최대 80% 낮은 종료 지연 시간을 달성한다.
• AND 정책을 사용하고 조직이 2개이며 조직당 피어가 2개일 경우, 엔드오르스먼트 단계에서 탐지하지 못한 충돌(가짜 음성) 비율이 최대 22%에 이르며, 이는 탐지 커버리지 향상 여지가 있음을 시사한다.
• 조직당 피어 수를 늘릴수록, 특히 AND 엔드오르스먼트 정책 하에서 충돌 탐지 능력 향상과 부하 분산 덕분에 스루풋과 양호도가 향상된다.
• OR 엔드오르스먼트 정책은 더 높은 가짜 양성 비율을 유발하여 원시 스루풋은 높지만 성능 향상이 감소하므로, 충돌 탐지 우선일 경우 AND 정책이 더 효과적이다.
• 고충돌률 상황(예: 지프 분포의 s = 1.5)에서 SyncMap은 Fabric 대비 양호도를 35% 향상시켜 실제 워크로드에서의 강력한 확장성을 입증한다.
• 해결책은 AND 엔드오르스먼트 정책, 조직당 최소 피어 수, 블록 크기 조정을 통해 내부 및 블록 간 충돌을 최소화할 때 가장 효과적이다.