[논문 리뷰] CASPaxos: Replicated State Machines without logs

Denis Rystsov|arXiv (Cornell University)|2018. 02. 20.

Distributed systems and fault tolerance참고 문헌 9인용 수 9

한 줄 요약

CASPaxos는 로그를 제거하고 확장된 싱드론 프로토콜을 통해 직접 상태를 복제함으로써 지연 시간을 낮추고 동시성과 고장 내성 능력을 향상시키는 리더 없는, 대기 없는, 선형화 가능한 복제 상태 기계 프로토콜이다. 쓰기 증폭과 하드웨어 오버헤드를 줄이며, 프로토타입은 WAN 배포에서 47ms의 지연 시간을 기록하여 에치드와 모기아노DB와 같은 리더 기반 시스템을 크게 앞서는 성능을 보였다.

ABSTRACT

CASPaxos is a wait-free, linearizable, multi-writer multi-reader register in unreliable, asynchronous networks supporting arbitrary update operations including compare-and-set (CAS). The register acts as a replicated state machine providing an interface for changing its value by applying an arbitrary user-provided function (a command). Unlike Multi-Paxos and Raft which replicate the log of commands, CASPaxos replicates state, thus avoiding associated complexity, reducing write amplification, increasing concurrency of disk operations and hardware utilization. The paper describes CASPaxos, proves its safety properties and evaluates the characteristics of a CASPaxos-based prototype of key-value storage.

연구 동기 및 목표

• 멀티-패็ก소스와 레프트와 같은 리더 기반 공감 프로토콜의 복잡성과 가용성 한계를 해결한다.
• 로그 복제를 제거함으로써 쓰기 증폭을 줄이고 디스크 I/O 동시성을 향상시킨다.
• 단일 장애 지점이 없이 비동기적이고 신뢰할 수 없는 네트워크에서도 고가용성과 낮은 지연 시간을 달성한다.
• 분산 상태 기계를 구축하기 위해 멀티-패็ก소스와 레프트의 더 간단하고 증명 가능하게 올바른 대안을 제공한다.
• 상태 복제가 로그 기반 복제만큼 효율적이고 안전할 수 있으며, 실용적인 성능 이점을 제공할 수 있음을 입증한다.

제안 방법

• 싱드론 프로토콜(싱글-디어 파크소스)을 확장하여 로그 대신 상태를 직접 복제함으로써 로그 조합이 필요 없도록 한다.
• 쓰기 작업을 위한 원자적 기본 연산으로 비교 및 설정(CAS) 연산을 사용하여 안전한 동시 쓰기 작동을 가능하게 한다.
• 모든 복제본이 동일한 역할을 하는 대칭적이고 피어 투 피어 아키텍처를 유지하여 리더 선출 및 장애 지점 없이 운영한다.
• 다른 상태 구성 요소에 대해 독립적이고 순서 없이 쓰기를 허용하여 디스크 I/O 동시성과 하드웨어 활용도를 높인다.
• TLA+를 사용한 형식적 증명과 부록의 수학적 증명을 통해 안전성과 선형화 가능성을 공식적으로 증명한다.
• 실제 WAN 조건에서의 성능과 고장 내성 능력을 평가하기 위해 프로토타입 키-값 스토어(Gryadka)를 구현한다.

실험 결과

연구 질문

• RQ1 명령 로그를 유지하지 않으면서도 안전성과 선형화 가능성을 유지할 수 있는 복제 상태 기계를 구축할 수 있는가?
• RQ2 로그 복제를 제거하면 분산 시스템에서 쓰기 증폭, 디스크 I/O 동시성, 하드웨어 활용도에 어떤 영향을 미치는가?
• RQ3 리더 없는 공감 프로토콜이 레프트와 멀티-패크소스와 같은 리더 기반 프로토콜보다 낮은 지연 시간과 더 높은 가용성을 달성할 수 있는가?
• RQ4 지리적으로 분산된 환경에서 로그 기반 복제와 비교해 직접 상태 복제의 성능에 어떤 영향을 미치는가?
• RQ5 리더가 없는 상태에서 네트워크 분할이나 노드 장애 발생 시 고장 내성 능력 향상 정도는 어느 정도인가?

주요 결과

• CASPaxos는 3개의 애저 지역을 아우르는 WAN 배포에서 읽기-수정-쓰기 작업의 평균 지연 시간이 47ms를 기록하여 에치드(679ms)와 모기아노DB(1086ms)를 크게 앞서는 성능을 보였다.
• 리더 고립 상황에서도 유연한 성능 저하를 보이며 1초 미만의 가용성 손실을 기록했으며, 레프트 기반 시스템인 에치드(1초)와 코크로프트DB(7초)와는 대비되는 성능을 보였다.
• 구현 코드는 500줄 이내로, 멀티-패크소스와 레프트 구현 대비 상당한 복잡성 감소를 입증했다.
• 직접 상태 복제 덕분에 쓰기 증폭이 감소하여 디스크 I/O 효율성과 하드웨어 활용도가 향상되었다.
• 중앙 리더로의 요청 전달을 제거함으로써 광역 네트워크에서 최적의 커밋 지연 시간을 달성했다.
• TLA+를 통한 형식적 검증과 수학적 증명을 통해 CASPaxos의 안전성과 선형화 가능성이 확인되어 단순함에도 불구하고 정확성이 입증되었다.