[논문 리뷰] Flexible Paxos: Quorum intersection revisited

Heidi Howard, Dahlia Malkhi외 1명|arXiv (Cornell University)|2016. 08. 24.

Distributed systems and fault tolerance참고 문헌 27인용 수 47

한 줄 요약

이 논문은 유연한 파크소스(Flexible Paxos, FPaxos)를 소개한다. 이는 동일한 단계 내에서의 큐럼(intersection)을 요구하지 않도록 일반화한 파크소스 합의 알고리즘의 확장이다. 이로써 제1단계와 제2단계의 큐럼이 서로 분리되어도, 두 단계 간에 교차가 이루어지면 안전성을 유지할 수 있다. 주요 기여는 이러한 유연성 덕분에 성능과 가용성 간의 트레이드오프를 개선할 수 있다는 점이다. 예를 들어, 지연 시간과 처리량을 향상시키기 위해 제2단계 큐럼 크기를 줄일 수 있으며, 안전성을 확보하기 위해 철저한 큐럼 설계를 통해 유지된다.

ABSTRACT

Distributed consensus is integral to modern distributed systems. The widely adopted Paxos algorithm uses two phases, each requiring majority agreement, to reliably reach consensus. In this paper, we demonstrate that Paxos, which lies at the foundation of many production systems, is conservative. Specifically, we observe that each of the phases of Paxos may use non-intersecting quorums. Majority quorums are not necessary as intersection is required only across phases. Using this weakening of the requirements made in the original formulation, we propose Flexible Paxos, which generalizes over the Paxos algorithm to provide flexible quorums. We show that Flexible Paxos is safe, efficient and easy to utilize in existing distributed systems. We conclude by discussing the wide reaching implications of this result. Examples include improved availability from reducing the size of second phase quorums by one when the number of acceptors is even and utilizing small disjoint phase-2 quorums to speed up the steady-state.

연구 동기 및 목표

• 기존 파크소스가 각 단계 내에서 큐럼이 반드시 교차하도록 강제하는 보수적인 성향을 해결하기 위해, 안전성을 확보하기 위해선 단지 단계 간 교차가 필요할 뿐, 단계 내 교차가 반드시 필요하지는 않다는 점을 입증하기 위해.
• 큐럼 교차가 단지 단계 간에만 필요하며, 단계 내에서는 필요하지 않다는 점을 입증함으로써, 파크소스에서 오랫동안 유지되어 온 가정을 완화하기 위해.
• 더 작은, 상호 교차가 없는 제2단계 큐럼을 허용함으로써 실질적인 성능 향상을 이끌어내어 지연 시간과 네트워크 부하를 줄이기 위해.
• 기존 시스템에 점진적으로 통합할 수 있도록 안전하고 효율적이며 후행 호환성 있는 파크소스의 일반화를 제공하기 위해.
• 동적이고 민감한 큐럼 선택 전략을 통해 새로운 시스템 설계 기회를 탐색하기 위해, 예를 들어 격자 큐럼 시스템과 단순 큐럼 시스템을 포함하여.

제안 방법

• 제1단계와 제2단계 큐럼 간의 교차만 요구되며, 각 단계 내에서는 필요하지 않도록 하는, 파크소스의 일반화된 형태인 '유연한 파크소스(FPaxos)'를 제안한다.
• 제1단계와 제2단계 큐럼이 서로 분리되어도, 두 단계 간에 교차가 이루어지면 안전성을 유지할 수 있도록 하는 큐럼 시스템을 정의한다.
• 제2단계 큐럼 크기를 줄이되 제1단계 큐럼 크기를 늘리는 '단순 큐럼(simple quorums)'의 개념을 도입하여, 정상 상태에서 지연 시간을 감소시킨다.
• 안전성을 검증하기 위해 TLA+ 형식 사양과 모델 체킹을 사용하여, 새로운 큐럼 교차 규칙 하에서 FPaxos의 안전성을 수학적으로 증명한다.
• 실제 워크로드에서의 실용적 이점을 입증하기 위해 FPaxos의 난이도 높은 구현체를 설계하고 평가한다.
• 시스템 상태와 장애 내성 요구사항에 따라 큐럼 크기를 동적으로 조정하는 전략을 제안한다.

실험 결과

연구 질문

• RQ1 동일한 단계 내 큐럼이 분리되어도, 서로 다른 단계 간 큐럼이 교차한다면 파크소스의 안전성이 유지될 수 있는가?
• RQ2 합의 프로토콜에서 제2단계 큐럼 크기를 줄이면 어떤 성능 및 가용성 트레이드오프가 발생하는가?
• RQ3 분산 합의에서 장애 내성과 안전성을 유지하면서 큐럼 크기를 최소화할 수 있는 큐럼 시스템은 어떻게 설계할 수 있는가?
• RQ4 기존의 파크소스 기반 시스템은 얼마나 깊이 FPaxos로 확장하여 정상 상태 성능을 향상시킬 수 있으며, 안전성을 희생하지 않을 수 있는가?
• RQ5 생산 환경에서 가용성과 성능을 균형 잡기 위해 동적 큐럼 선택 전략을 사용할 수 있는가?

주요 결과

• TLA+ 모델 체킹을 통해 유연한 파크소스(FPaxos)가 수학적으로 안전하다고 증명되었으며, 큐럼 교차가 단지 단계 간에만 필요하고, 단계 내에서는 필요하지 않다는 점을 확인했다.
• 10개 노드로 구성된 시스템에서 FPaxos는 제2단계 큐럼 크기를 단 3개 노드로 줄일 수 있으며, 이는 지연 시간과 처리량을 향상시킨다. 다만 리더 복구 시 제1단계에서 8개 노드가 필요하다는 점이 단점이다.
• 수용자 수가 짝수일 경우, FPaxos는 기존 파크소스 대비 제2단계 큐럼 크기를 하나 줄일 수 있으며, 이는 장애 내성은 그대로 유지하면서 성능을 향상시킨다.
• 격자 큐럼 시스템을 사용하면 두 단계 모두에서 큐럼 크기를 줄일 수 있어, 더 작은 큐럼을 유지하면서도 장애 내성과 안전성을 확보할 수 있다.
• 분리된 제2단계 큐럼을 사용함으로써 참가자의 자원 활용도가 향상되고 네트워크 부하가 감소하여 정상 상태 처리량이 향상된다.
• 제안된 일반화는 기존의 파크소스 변종과 수직적(orthogonal)이며, 기존 생산 시스템에 통합되어 성능과 확장성을 추가로 향상시킬 수 있다.