[논문 리뷰] BFT Consensus: From Academic Paper to Mainnet (Invited Talk)

Kushal Babel|arXiv (Cornell University)|2023. 10. 23.

Distributed systems and fault tolerance인용 수 5

한 줄 요약

Mysticeti-C는 블록 인증을 명시적으로 제거하고 임계값 논리 시계를 통해 블록당 커밋을 가능하게 함으로써 최적의 3메시지라운드 지연(광역망 기준 0.5초)과 20만 TPS 이상의 성능을 달성하는 새로운 DAG 기반 비잔티노스 합의 프로토콜이다. Bullshark 대비 80% 낮은 지연을 달성하며, 최소한의 서명과 메시지만을 사용하는 Mysticeti-FPC를 통해 자원 효율적인 패스트패스 트랜잭션을 구현한다.

ABSTRACT

This talk shares our journey in bringing Byzantine Fault Tolerant (BFT) consensus from academic papers to operational blockchain networks. It begins in 2019 with our initial effort as researchers and engineers at Facebook to deploy the HotStuff consensus protocol [Yin et al., 2019] at the heart of the Libra blockchain [Facebook, 2022]. We present how this journey led to modifications from the original theoretical design [Rati Gelashvili et al., 2021] and the eventual migration to DAG-based systems [George Danezis et al., 2022; Alexander Spiegelman et al., 2022], now implemented in the Sui blockchain [The Sui team, 2023] and gaining traction across the blockchain space [Arun et al., 2024; Kushal Babel et al., 2024; Shrestha et al., 2024; Malkhi et al., 2023]. We outline the numerous research and engineering challenges we faced at every step of this journey, describe how we addressed some of these challenges [Bano et al., 2020; Giuliari et al., 2024], and point out which ones remain open questions and require further research. This talk aims to offer a different perspective on BFT consensus, focusing on the needs of real-world blockchains and offering insights that may not be visible from research papers alone.

연구 동기 및 목표

• Bullshark와 같은 블록 인증 기반 DAG 합의 프로토콜이 다중 라운드 인증, 웨이브 기반 커밋, 서명 검증으로 인한 높은 CPU 오버헤드로 인해 2~3초의 높은 지연을 유발하는 문제를 해결한다.
• 비잔티노스 합의의 이론적 하한선인 3메시지라운드 커밋 지연을 달성하면서도 높은 처리량과 검열 저항성을 유지한다.
• 장애 발생 시에도 안정적으로 작동하고, 블록당 서명 생성 및 검증 수를 줄여 CPU 오버헤드를 최소화하는 실사용 가능한 프로토콜을 설계한다.
• 패스트패스 메커니즘(Mysticeti-FPC)을 확장하여 자산 이체에 대해 명시적 증명 없이도 1초 이내 커밋을 가능하게 하며, 자원 효율성을 향상시킨다.
• 실제 블록체인(Sui)에 프로토콜를 통합하고, 저지연, 고처리량, 장애내성 환경에서 측정 가능한 성능 향상을 입증한다.

제안 방법

• 각 블록이 결정된 즉시 커밋되는 임계값 논리 시계 기반 DAG를 설계하여 웨이브 기반 또는 배치 기반 커밋 지연을 제거한다.
• 명시적 블록 인증을 대체할 새로운 커밋 규칙을 도입하여, 어떤 블록이라도 2f+1개의 블록만으로도 커밋 가능하게 하여 웨이브 대기 없이 블록당 커밋을 실현한다.
• 다중 전파를 통해 전송되는 유일한 메시지 유형인 서명된 블록을 사용하여 프로토콜의 복잡성을 낮추고 구현 용이성을 향상시킨다.
• 블록당 서명 및 검증을 각각 한 번만 요구함으로써 CPU 오버헤드를 최소화하여, 장애 복구 시 수천 개의 증명을 검증해야 하는 필요성을 피한다.
• Mysticeti-FPC에서 패스트패스 트랜잭션을 DAG 구조에 통합하여 트랜잭션을 DAG에 통합하고 투표를 타임스탬프로 사용함으로써 별도의 패스트패스 증명이 필요 없도록 한다.
• 3라운드 동안 고정된 슬롯을 사용하는 동적 프로포저 슬롯 메커니즘을 도입하여 장애 발생 시에도 라이브니스를 확보하고, 라운드당 다수의 프로포저를 허용하여 처리량을 향상시킨다.

실험 결과

연구 질문

• RQ1 패스트패스 또는 옵timistic 메커니즘에 의존하지 않고도 DAG 기반 비잔티노스 합의 프로토콜이 3메시지라운드의 이론적 하한선을 달성할 수 있는가?
• RQ2 비잔티노스 장애 상황에서도 안전성과 라이브니스를 보장하면서 DAG 기반 프로토콜에서 블록 인증을 완전히 제거할 수 있는가?
• RQ3 지연, 처리량, CPU 활용도 측면에서 블록당 커밋과 웨이브 기반 커밋 간의 성능 영향은 어떠한가?
• RQ4 명시적 증명 없이도 DAG 구조에 패스트패스 메커니즘이 자연스럽게 통합될 수 있으며, 그로 인한 효율성 및 지연 개선 수준은 어떠한가?
• RQ5 장애 발생 상황에서 프로토콜는 어떻게 행동하는가? 그리고 실사용 규모의 배포 환경에서 높은 처리량과 낮은 지연 감소를 유지할 수 있는가?

주요 결과

• Mysticeti-C는 106개의 검증자 네트워크에서 광역망 기준 0.5초의 합의 커밋 지연을 달성했으며, Bullshark의 1.9초 대비 80% 낮은 지연을 기록했다.
• 프로토콜는 0.5초 지연에서 20만 건 이상의 트랜잭션을 초당 처리할 수 있으며, Narwhal 기반 합의를 초월하여 현대 블록체인의 요구 조건을 충족한다.
• 블록 인증을 제거하고 블록당 서명을 한 번만 요구함으로써 CPU 오버헤드를 크게 감소시켰으며, 특히 장애 복구 시 수천 개의 서명을 검증해야 하는 필요성이 사라져 효율성이 높아졌다.
• Mysticeti-FPC는 메시지 및 서명 오버헤드가 감소함에 따라 명시적 증명이 있는 프로토콜 대비 자원 효율성이 8배 이상 향상되어 패스트패스 커밋 지연을 0.25초 이내로 구현했다.
• Sui 블록체인에 Mysticeti-C를 통합한 결과, 지연이 4배 감소하여 실세계 환경에서의 성능 향상이 입증되었으며, 이는 15억 달러 이상의 자산과 일일 100만 명 이상의 활성 계정을 보유한 생산 환경에서의 성과이다.
• 라운드당 다수의 프로포저 슬롯과 동적 슬롯 할당 전략을 통해 장애 발생 시에도 라이브니스와 장애내성을 유지하며, 일부 노드가 장애 발생하더라도 진행이 가능하다.