[논문 리뷰] Dumbo-NG: Fast Asynchronous BFT Consensus with Throughput-Oblivious Latency

Yingzi Gao, Yuan Lu외 4명|arXiv (Cornell University)|2022. 09. 01.

Distributed systems and fault tolerance인용 수 5

한 줄 요약

Dumbo-NG는 품질 성질을 갖춘 다가치 검증된 비잔티노스 합의(MVBA)로 직접 감소시킴으로써 동시성 거래 전파와 비동기 합의를 가능하게 함으로써 처리량-지연 시간 간의 상충 관계를 해결하는 새로운 비동기 비잔티노스 장애내성(BFT) 합의 프로토콜을 제안한다. Dumbo보다 최대 4–8배 높은 최고 처리량, Speeding-Dumbo보다 2–4배, sDumbo-DL보다 2–3배 높은 처리량을 달성하면서도 안정적이고 낮은 지연 시간을 유지하며, 모든 정상 노드의 거래가 보장되어 출력되므로 캐나다 위협 없이 성능 비용 없이 제거된다.

ABSTRACT

Despite recent progresses of practical asynchronous Byzantine fault tolerant (BFT) consensus, the state-of-the-art designs still suffer from suboptimal performance. Particularly, to obtain maximum throughput, most existing protocols with guaranteed linear amortized communication complexity require each participating node to broadcast a huge batch of transactions, which dramatically sacrifices latency. Worse still, the f slowest nodes' broadcasts might never be agreed to output and thus can be censored (where f is the number of faults). Implementable mitigation to the threat either uses computationally costly threshold encryption or incurs communication blow-up, thus causing further efficiency issues. We present Dumbo-NG, a novel asynchronous BFT consensus (atomic broadcast) to solve the remaining practical issues. Its technical core is a non-trivial direct reduction from asynchronous atomic broadcast to multi-valued validated Byzantine agreement (MVBA) with quality property. Most interestingly, the new protocol structure empowers completely concurrent execution of transaction dissemination and asynchronous agreement. This brings about two benefits: (i) the throughput-latency tension is resolved to approach peak throughput with minimal increase in latency; (ii) the transactions broadcasted by any honest node can be agreed to output, thus conquering the censorship threat with no extra cost. We implement Dumbo-NG and compare it to the state-of-the-art asynchronous BFT with guaranteed censorship resilience including Dumbo (CCS'20) and Speeding-Dumbo (NDSS'22). We also apply the techniques from Speeding-Dumbo to DispersedLedger (NSDI'22) and obtain an improved variant of DispersedLedger called sDumbo-DL for comprehensive comparison. Extensive experiments reveal: Dumbo-NG realizes better peak throughput performance and its latency can almost remain stable when throughput grows.

연구 동기 및 목표

• 고처리량을 위해 거래를 배치해야 하므로 지연 시간이 희생되는 실용적 비동기 BFT 합의의 근본적인 성능 저하 요인을 해결한다.
• 기존 프로토콜에서 브로드캐스트 지연으로 인해 f개의 가장 느린 노드의 거래가 영원히 합의되지 않을 수 있는 캐나다 위협을 제거한다.
• 거래 전파와 합의 합의를 분리하여 동시 실행을 가능하게 하여 처리량-지연 시간 간의 갈등을 해결한다.
• 통신 비용 증가나 계산 오버헤드 없이 캐나다 저항성을 확보하면서 모든 정상 노드의 거래가 보장되어 출력되도록 한다.
• 메모리 사용량이 유한하고 느린 또는 장애가 발생한 노드에 대한 효율적인 복구 메커니즘이 구현된 프로덕션 준비형 프로토콜을 설계한다.

제안 방법

• 정상 노드의 출력이 최소 1/2 확률로 선택됨을 보장하는 비잔티노스 장애내성 합의(MVBA)로의 비트리비얼 직접 감소를 제안하며, 이는 품질 성질을 갖는다.
• 거래 전파(신뢰성 있는 브로드캐스트를 통해)와 합의( MVBA를 통해)를 분리하여 동시 실행을 가능하게 하고 처리량과 지연 시간 간의 의존성을 제거한다.
• 효율적이고 낮은 지연 시간의 합의를 가능하게 하며 강력한 활성 보장 기능을 제공하는 GLL+22 MVBA 프로토콜을 기반으로 하며, 이를 기본 원자로 사용한다.
• 주어진 메시지에 쿠오럼 증명서를 통합하여 느린 노드가 향후 메시지를 버퍼링하지 않고도 동기화할 수 있도록 하여 메모리 압박을 줄이고 효율적인 복구를 가능하게 한다.
• 메시지 버퍼 정리 및 MVBA 인스턴스의 조기 종료와 같은 메모리 안정성 있는 실행 패턴을 설계하여 프로덕션 배포 환경에서 유한한 메모리 사용량을 지원한다.
• Speeding-Dumbo와 DispersedLedger의 기법을 적응하여 sDumbo-DL를 구축하여 Dumbo-NG의 우월성을 다양한 네트워크 규모에서 검증한다.

실험 결과

연구 질문

• RQ1 비동기 BFT 합의가 라이브니스나 캐나다 저항성을 훼손하지 않으면서도 고처리량과 낮은 지연 시간을 동시에 달성할 수 있는가?
• RQ2 보안성과 효율성을 유지하면서도 거래 전파와 합의 합의를 분리하여 실행할 수 있는가?
• RQ3 기존 BFT 프로토콜에서 f개의 가장 느린 노드의 거래가 제외될 수 있는 캐나다 위협을 통신 비용이나 계산 오버헤드 없이 제거할 수 있는가?
• RQ4 신규 MVBA 기반 합의 프로토콜의 성능은 다양한 노드 수와 지리적으로 분산된 네트워크에서 어떻게 스케일링되는가?
• RQ5 유한한 메모리 사용량과 지연 또는 장애 이후의 효율적 복구를 위해 프로덕션 환경에 배포하기 위해 필요한 시스템 수준 최적화는 무엇인가?

주요 결과

• Dumbo-NG는 16개 지역의 최대 64개의 AWS EC2 노드에서의 실험에서 Dumbo보다 최대 4–8배 높은 최고 처리량을 달성한다.
• Speeding-Dumbo보다 2–4배, sDumbo-DL보다 2–3배 높은 처리량을 기록하여 다양한 네트워크 규모에서 일관된 성능 향상을 입증한다.
• Dumbo-NG의 지연 시간은 처리량이 증가함에 따라 안정적으로 유지되며, 모든 테스트된 프로토콜 중에서 가장 낮은 지연 시간을 기록하여 처리량에 민감하지 않은 지연 시간 성질을 확인한다.
• 정상 노드가 브로드캐스트한 모든 거래가 보장되어 출력되며, 기존 프로토콜에서 존재하던 캐나다 위협이 추가 통신 또는 계산 없이 제거된다.
• 메시지 정리, MVBA 인스턴스의 조기 종료, 쿠오럼 증명서 기반 동기화를 통해 유한한 메모리 사용량을 지원하여 프로덕션 배포가 가능하다.
• 쿠오럼 증명서 통합으로 느린 노드가 향후 메시지를 버퍼링하지 않고도 효율적으로 복구할 수 있어 메모리 오버헤드를 크게 줄이고 복원력을 향상시킨다.