[논문 리뷰] Scalable Eventually Consistent Counters over Unreliable Networks

Paulo Sérgio Almeida, Carlos Baquero|arXiv (Cornell University)|2013. 07. 11.

Distributed systems and fault tolerance참고 문헌 20인용 수 5

한 줄 요약

이 논문은 신뢰할 수 없는 네트워크를 위한 확장 가능하고 최종 일관성 있는 CRDT 기반 카운터인 Handoff Counters를 제안한다. 기존 CRDT에서 발생하는 신원 폭발 문제를 국소화된 노드 ID 항목과 함께 폐기된 노드의 가비지 수집을 가능하게 함으로써 해결한다. 프로토콜 상태를 CRDT 상태에 통합함으로써 최종 일관성 보장과 함께 가용성 및 장애 내성(AP) 행동을 달성하여 웹 카운터나 소셜 미디어 '좋아요'와 같은 대규모 지리적으로 복제된 시스템에 적합하다.

ABSTRACT

Counters are an important abstraction in distributed computing, and play a central role in large scale geo-replicated systems, counting events such as web page impressions or social network "likes". Classic distributed counters, strongly consistent, cannot be made both available and partition-tolerant, due to the CAP Theorem, being unsuitable to large scale scenarios. This paper defines Eventually Consistent Distributed Counters (ECDC) and presents an implementation of the concept, Handoff Counters, that is scalable and works over unreliable networks. By giving up the sequencer aspect of classic distributed counters, ECDC implementations can be made AP in the CAP design space, while retaining the essence of counting. Handoff Counters are the first CRDT (Conflict-free Replicated Data Type) based mechanism that overcomes the identity explosion problem in naive CRDTs, such as G-Counters (where state size is linear in the number of independent actors that ever incremented the counter), by managing identities towards avoiding global propagation and garbage collecting temporary entries. The approach used in Handoff Counters is not restricted to counters, being more generally applicable to other data types with associative and commutative operations.

연구 동기 및 목표

• 신뢰할 수 없는 네트워크를 가진 대규모 지리적으로 복제된 시스템에서 단순한 CRDT 기반 카운터의 확장성 한계를 해결하기 위해.
• 가용성 및 장애 내성(AP)을 유지하면서도 최종 일관성에 의해 정확성을 보장하는 분산 카운터를 설계하기 위해.
• 모든 클라이언트 ID(포함하여 폐기된 자격도 포함)를 지속적으로 추적함으로써 상태 팽창이 발생하는 CRDT의 신원 폭발 문제를 해결하기 위해.
• 임시 항목을 폐기된 노드에서 효율적으로 가비지 수집할 수 있도록 하되, 임의의 메시지 손실이나 재정렬 조건에서도 정확성을 손상시키지 않기 위해.
• 카운터를 초월하여 결합법칙과 교환법칙을 만족하는 연산을 포함하는 다른 데이터 유형으로 이 접근법을 일반화하기 위해.

제안 방법

• 프로토콜 상태(예: 핸드오프 정보)를 직접 CRDT 상태에 통합함으로써 내구성 있는 상태와 일시적인 계산 상태를 분리하는 CRDT 기반 설계를 사용한다.
• 클라이언트당 레벨-0 항목과 고수준 집계를 포함하는 계층적 아키텍처를 도입하여 전역적으로 노출되는 식별자 수를 활성 참가자 수로 제한한다.
• 메시지 중복, 재정렬 또는 손실이 있어도 단조적 상태 진화 덕분에 정확성이 손상되지 않는 불안정한 네트워크에서 분산 게이핑 프로토콜을 사용한다.
• 내구성 있는 상태(장애 후 유지되는 상태)와 일시적 상태(계산에 사용되는 상태)를 구분함으로써 폐기된 노드의 안전한 가비지 수집을 가능하게 한다.
• 병합 연산이 결합법칙과 교환법칙을 만족하여, 메시지 순서나 전달 시점에 관계없이 복제본 간 수렴을 보장한다.
• 모든 메시지를 재진행 불가능한 상태 업데이트로 간주하고 원자적 또는 정확히 한 번만 전송되는 메시지에 의존하지 않음으로써 원자성 또는 정확히 한 번 전송 보장에 의존하지 않는다. 이로써 오래된 상태 버전은 더 최신 상태 버전에 의해 포함된다.

실험 결과

연구 질문

• RQ1 기존의 단순한 CRDT 기반 카운터에서 발생하는 신원 폭발 문제를 피하면서도 확장 가능하고 최종 일관성 있는 카운터를 구축할 수 있는가?
• RQ2 CRDT를 확장하여 폐기된 노드의 가비지 수집을 가능하게 하되, 불안정한 통신 환경에서도 정확성을 유지할 수 있는가?
• RQ3 강한 일관성이나 분산 트랜잭션에 의존하지 않고도 카운터에서 AP 행동을 달성할 수 있는가?
• RQ4 카운터를 초월하여 결합법칙과 교환법칙을 만족하는 연산을 포함하는 다른 데이터 유형으로 CRDT 모델을 일반화할 수 있는가?
• RQ5 프로토콜 상태를 CRDT 상태에 통합함으로써 신뢰할 수 없는 네트워크에서 장애 내성과 확장성을 향상시킬 수 있는가?

주요 결과

• Handoff Counters는 활성 참가자에 대해서만 레벨-0 항목 수를 제한함으로써 노드 ID 항목을 국소화함으로써 확장성을 달성한다. 이로써 전역 상태 팽창을 방지한다.
• 정상 운영 중 폐기된 노드의 항목을 가비지 수집할 수 있으며, 이는 장기적인 상태 팽창을 줄이되 정확성에 영향을 주지 않는다.
• 단조적 상태 진화 덕분에 임의의 메시지 손실, 재정렬, 중복을 견딜 수 있어 불안정한 네트워크에서도 강건하다.
• 네트워크 분할이나 노드 장애 조건에서도 과도한 증가나 손실된 증가 없이 최종 일관성을 제공한다.
• 카운터를 초월하여 결합법칙과 교환법칙을 만족하는 연산을 포함하는 다른 데이터 유형으로도 일반화 가능하다.
• 서버 기반 CRDT와 비교해 볼 때, 장故 후에도 단 하나의 가용 서버만 필요로 하므로 가용성이 향상된다.