[논문 리뷰] Leaderless State-Machine Replication: Specification, Properties, Limits

Tuanir França Rezende, Pierre Sutra|arXiv (Cornell University)|2020. 01. 01.

Distributed systems and fault tolerance참고 문헌 18인용 수 1

한 줄 요약

이 논문은 리더리스 상태기계 복제(SMR)를 위한 형식적 프레임워크를 제안하며, 최적의 지연 시간과 로드 밸런싱을 달성하는 프로토콜에서 성능과 신뢰성 사이의 근본적 트레이드오프를 규명한다. 이는 ROLL-최적 프로토콜—신뢰성, 최적 지연 시간, 로드 밸런싱을 만족하는 프로토콜—가 부등식 2F + f − 1 ≤ n 를 만족해야 한다는 것을 증명하며, 이는 꼬리 지연 시간을 증가시키는 체인 효과를 유발하는 본질적인 원인을 제공한다. 이는 EPaxos와 같은 시스템에서 관측된 성능 저하를 설명한다.

ABSTRACT

Modern Internet services commonly replicate critical data across several geographical locations using state-machine replication (SMR). Due to their reliance on a leader replica, classical SMR protocols offer limited scalability and availability in this setting. To solve this problem, recent protocols follow instead a leaderless approach, in which each replica is able to make progress using a quorum of its peers. In this paper, we study this new emerging class of SMR protocols and states some of their limits. We first propose a framework that captures the essence of leaderless state-machine replication (Leaderless SMR). Then, we introduce a set of desirable properties for these protocols: (R)eliability, (O)ptimal (L)atency and (L)oad Balancing. We show that protocols matching all of the ROLL properties are subject to a trade-off between performance and reliability. We also establish a lower bound on the message delay to execute a command in protocols optimal for the ROLL properties. This lower bound explains the persistent chaining effect observed in experimental results.

연구 동기 및 목표

• 지역 분산 시스템에서 리더 버티바일리티 문제를 피하는 리더리스 상태기계 복제(SMR) 프로토콜의 설계 및 행동을 형식화하기 위해.
• 리더리스 SMR 프로토콜을 위한 바람직한 성질 집합—신뢰성, 최적 지연 시간, 로드 밸런싱(ROLL)—을 규명하고 정의하기 위해.
• ROLL을 달성하는 프로토콜에서 성능과 장애 내성 사이의 내재된 트레이드오프를 분석하기 위해.
• 실험 결과에서 관측된 지속적인 체인 효과를, 명시적 소통 지연의 하한값을 사용하여 설명하기 위해.

제안 방법

• 리더리스 SMR를 두 핵심 구성 요소로 분해하는 모듈식 프레임워크를 제안: 의존성 탐색 서비스(DDS)와 합의 서비스.
• 충돌이 존재하지 않을 경우 저지연 실행을 가능하게 하는 '패스트 패스' 쿠롬(크기 n − F)의 개념을 도입.
• ROLL 성질을 형식적인 프로토콜 특성 집합으로 정의: 신뢰성, 최적 지연 시간, 로드 밸런싱.
• ROLL 정리 도출: 2F + f − 1 ≤ n, 이는 모든 ROLL 성질을 달성하기 위한 필수 조건을 설정한다.
• ROLL 정리의 결과로 발생하는 체인 효과를 분석하여, 경쟁 상황에서 꼬리 지연 시간 증가 원인을 규명한다.
• 메시지 지연의 형식적 모델과 쿠롬 제약 조건을 사용하여, ROLL-최적 프로토콜에서 명령 실행 시간의 하한값을 유도한다.

실험 결과

연구 질문

• RQ1 고품질의 리더리스 SMR 프로토콜을 정의하는 형식적 성질는 무엇이며, 이를 체계적으로 특성화할 수 있는가?
• RQ2 리더리스 SMR에서 동시에 신뢰성, 최적 지연 시간, 로드 밸런싱을 달성하는 것은 가능한가, 그리고 만약 가능하다면 어떤 조건 하에서 가능한가?
• RQ3 리더리스 SMR 프로토콜에서 ROLL 성질을 만족하는 경우, 성능을 제한하는 근본적 트레이드오프는 무엇인가?
• RQ4 EPaxos와 같은 프로토콜이 충돌 빈도가 증가함에 따라 높은 꼬리 지연 시간을 보이는 이유는 무엇이며, 이를 형식적으로 설명할 수 있는가?
• RQ5 ROLL-최적 리더리스 SMR 프로토콜에 대한 메시지 지연의 이론적 하한값은 무엇인가?

주요 결과

• ROLL 정리는 리더리스 SMR 프로토콜이 신뢰성, 최적 지연 시간, 로드 밸런싱을 모두 달성하려면 총 복제본 수 n, 최대 내성 가능한故애 수 f, 패스트 패스 쿠롬 크기 F에 대해 2F + f − 1 ≤ n 를 만족해야 한다고 규명한다.
• ROLL-최적 프로토콜—즉, ROLL 정리 하에서 F와 f를 더 이상 향상시킬 수 없는 프로토콜—는 반드시 꼬리 지연 시간을 증가시키는 체인 효과를 야기한다.
• 체인 효과는 네트워크 지연이 없더라도 충돌 명령어들이 의존성 체인을 통해 순차적으로 순서가 정해져야 하기 때문에 발생한다.
• ROLL-최적 프로토콜에 대한 메시지 지연의 이론적 하한값은 최악의 경우 네 번의 메시지 지연이며, 이는 고충돌률 상황에서 EPaxos에서 관측된 행동과 정확히 일치한다.
• EPaxos에서 충돌 빈도가 증가함에 따라 성능 저하가 발생하는 것은 네트워크 지연 때문만이 아니라, 이 체인 효과 때문임을 설명한다.
• ROLL 성질을 달성하지 못하는 Mencius는 이 체인 효과를 피하며, 이로 인해 더 낮은 꼬리 지연 시간을 보이며 이 이론을 확인한다.