[논문 리뷰] Dispel: Byzantine SMR with Distributed Pipelining

Gauthier Voron, Vincent Gramoli|arXiv (Cornell University)|2019. 12. 22.

Distributed systems and fault tolerance참고 문헌 44인용 수 14

한 줄 요약

Dispel는 로컬 리소스 가용성에 기반해 리플리카 간에 다이나믹하게 공식화 인스턴스를 생성하는 분산 파이ipel라인을 사용하는 혁신적인 비잔티노스 상태 기반 복제(SMR) 프로토콜이다. 128개 노드에서 HotStuff 대비 12배 높은 처리량을 달성했으며, 헤드오브라인(Head-of-Line, HOL) 차단을 완화하고 장애 내성 능력을 향상시키기 위해 파이프라인을 분산화함으로써 스케일링 능력을 입증했다. 이는 네트워크 병목 현상 없이 380개 노드에서 작동하며 암호화폐 워크로드에서도 성능을 유지를 한다.

ABSTRACT

Byzantine State Machine Replication (SMR) is a long studied topic that received increasing attention recently with the advent of blockchains as companies are trying to scale them to hundreds of nodes. Byzantine SMRs try to increase throughput by either reducing the latency of consensus instances that they run sequentially or by reducing the number of replicas that send messages to others in order to reduce the network usage. Unfortunately, the former approach makes use of resources in burst whereas the latter requires CPU-intensive authentication mechanisms. In this paper, we propose a new Byzantine SMR called Dispel (Distributed Pipeline) that allows any node to distributively start new consensus instances whenever they detect sufficient resources locally. We evaluate the performance of Dispel within a single datacenter and across up to 380 machines over 3 continents by comparing it against four other SMRs. On 128 nodes, Dispel speeds up HotStuff, the Byzantine fault tolerant SMR being integrated within Facebook's blockchain, by more than 12 times. In addition, we also test Dispel under isolated and correlated failures and show that the Dispel distributed design is more robust than HotStuff. Finally, we evaluate Dispel in a cryptocurrency application with Bitcoin transactions and show that this SMR is not the bottleneck.

연구 동기 및 목표

• 대규모 배포 환경에서 헤드오브라인(HOL) 차단과 비균형적인 네트워크 사용으로 인한 비잔티노스 SMR의 성능 저하 문제를 해결하기 위해.
• HotStuff와 같은 프로토콜에서 발생하는 리더 기반 파이프라인화의 한계를 극복하기 위해, 단일 장애 지점과 자원 경쟁을 유발하는 문제를 해결하기 위해.
• 로컬 리소스 탐지 기반으로 리플리카 간에 파이프라인 결정을 분산화함으로써 대규모 네트워크에서 고처리량, 확장 가능한 SMR를 가능하게 하기 위해.
• 대규모 블록체인 시스템에서 공식화 오버헤드가 여전히 성능 저하의 주요 원인인지, 특히 실제 네트워크 조건 하에서 확인하기 위해.
• 암호화폐 워크로드에서 성능이 네트워크 통신이 아닌 암호화 비용에 의해 제한됨을 입증하기 위해, 380개의 지리적으로 분산된 노드를 포함한 환경에서도 이를 확인하기 위해.

제안 방법

• Dispel는 리소스 탐지 기반으로 어떤 리플리카도 네트워크 인터페이스(NIC) 대역폭이 여유가 있고 충분한 메모리가 확보되어 있을 경우 새로운 공식화 인스턴스를 생성하는 분산 파이프라인 메커니즘을 도입한다.
• 프로토콜은 리플리카 간의 메시지 부하를 다수의 통신 경로에 균형 있게 분산시켜 네트워크 혼잡을 방지하고 HOL 차단 영향을 최소화한다.
• 각 리플리카는 자체적으로 로컬 리소스를 모니터링하고 협업 없이 새로운 파이프라인 에포크를 시작함으로써 동적이고 적응형 리소스 활용이 가능하다.
• Dispel는 최소한의 스레딩을 사용하는 이벤트 기반, 실행 완료 모델을 사용하며, 해싱 및 임계값 서명과 같은 암호화 작업을 위한 전용 스레드만 생성한다.
• 이 시스템은 이질적인 링크(내부 및 외부 데이터센터 간)를 통해 TCP 연결을 활용하여 부하를 분산시키고, 특히 대규모 환경에서 양호한 성능을 향상시킨다.
• 다중 공식화 인스턴스가 동시에 진행되는 파이프라인드된 공식화 모델을 사용함으로써 메시지 복잡도를 줄이지 않고도 처리량을 증가시킨다.

실험 결과

연구 질문

• RQ1 분산 파이프라인화는 리더 기반 파이프라인화를 초월해 비잔티노스 SMR 프로토콜의 양호한 처리량을 크게 향상시킬 수 있는가?
• RQ2 고속 네트워크 환경에서 헤드오브라인(HOL) 차단은 SMR 성능을 얼마나 제한하는가? 그리고 아키텍처 설계를 통해 이를 완화할 수 있는가?
• RQ3 리플리카 간에 파이프라인 시작을 분산화함으로써 중앙 집중식 리더 기반 모델 대비 장애 내성 및 단일 노드 장애에 대한 복원력이 향상되는가?
• RQ4 대규모, 지리적으로 분산된 환경에서 SMR 기반 블록체인의 성능 저하 원인이 네트워크 대역폭인지, 암호화 비용인지 어느 쪽이 주요한가?
• RQ5 네트워크 부하가 여러 링크에 균형 있게 분산된 경우, 메시지 복잡도를 줄이지 않더라도 100개 이상의 노드에서 효과적으로 확장 가능한가?

주요 결과

• 128개 노드에서 Dispel는 HotStuff(페이스북의 블록체인에서 사용된 SMR) 대비 처리량이 12배 이상 높다. 이는 효과적인 부하 균형 조절과 HOL 차단 감소 덕분이다.
• Dispel의 분산 파이프라인 설계 덕분에 고립되거나 관련된 장애 상황에서도 높은 성능을 유지하며, 노드 장애에도 불구하고 초당 15만 건의 요청을 처리할 수 있다.
• 프로토콜은 헤드오브라인 차단이 고속 SMR에서 중요한 성능 저하 요인임을 입증했으며, 이는 이전 시스템에서 낮은 네트워크 속도로 인해 가려졌던 문제였다.
• 비트코인 스타일의 트랜잭션을 포함한 암호화폐 워크로드에서 Dispel는 공식화 프로토콜이 더 이상 성능 저하의 원인이 아니며, 성능은 네트워크 대역폭이 아닌 로컬 암호화 비용에 의해 제한됨을 보여준다.
• 380개 노드가 3개 대륙에 분산된 환경에서도 Dispel는 성능이 안정적이고 확장 가능하며, 부하가 균형 있게 분산되면 네트워크 복잡도가 처리량을 본질적으로 제한하지 않는다는 것을 입증했다.
• 평가 결과, 분산 파이프라인화가 처리량과 장애 내성 측면에서 중앙 집중식 파이프라인화를 뛰어넘는 것으로 확인되었으며, 특히 대규모 및 이질적인 네트워크 환경에서 두드러진다.