[논문 리뷰] Just-Right Consistency: reconciling availability and safety

Marc Shapiro, Annette Bieniusa외 3명|arXiv (Cornell University)|2018. 01. 19.

Distributed systems and fault tolerance참고 문헌 22인용 수 6

한 줄 요약

이 논문은 응용 프로그램 인버티언트에 기반한 미세한 일致성 수준을 적용하여 가용성과 안전성을 균형 잡는 원칙적인 접근 방식인 Just-Right Consistency를 제안한다. 이는 CRDT를 사용해 AP 호환성 인버티언트를 처리하고, 기본적으로 Transactional Causal Consistency를 사용하며, Bounded Counter 데이터 유형과 정적 분석(CISE)을 도입하여 CAP 민감성 인버티언트를 검증하고 강제 적용함으로써 지리적으로 분산된 환경에서 산업 규모의 정확성 유지 시스템을 가능하게 한다.

ABSTRACT

By the CAP Theorem, a distributed data storage system can ensure either Consistency under Partition (CP) or Availability under Partition (AP), but not both. This has led to a split between CP databases, in which updates are synchronous, and AP databases, where they are asynchronous. However, there is no inherent reason to treat all updates identically: simply, the system should be as available as possible, and synchronised just enough for the application to be correct. We offer a principled Just-Right Consistency approach to designing such applications, reconciling correctness with availability and performance, based on the following insights:(i) The Conflict-Free Replicated Data Type (CRDTs) data model supports asynchronous updates in an intuitive and principled way.(ii) Invariants involving joint or mutually-ordered updates are compatible with AP and can be guaranteed by Transactional Causal Consistency, the strongest consistency model that does not compromise availability. Regarding the remaining, "CAP-sensitive" invariants:(iii) For the common pattern of Bounded Counters, we provide encapsulated data type that is proven correct and is efficient; (iv) in the general case, static analysis can identify when synchronisation is not necessary for correctness.Our Antidote cloud database system supports CRDTs, Transactional Causal Consistency and the Bounded Counter data type. Support tools help design applications by static analysis and proof of CAP-sensitive invariants. This system supports industrial-grade applications and has been tested experimentally with hundreds of servers across several geo-distributed data centres.

연구 동기 및 목표

• CAP 정리의 일관성과 가용성 간의 상충 관계를 해결하기 위해 단일 모델을 강제 적용하는 대신, 응용 프로그램 고유의 인버티언트에 맞춰 일관성을 맞춤형으로 조정하는 것.
• 가용성 하에서 분할 상황(AP)과 호환되는 인버티언트 패턴을 식별하고 형식화하는 것, 예를 들어 CRDT와 Transactional Causal Consistency가 지원하는 패턴들.
• 제한된 수의 동시성으로도 정확성을 보장할 수 있도록, 일반적인 CAP 민감성 패턴(예: Bounded Counter)을 사전에 패키지화한 솔루션을 제공하는 것.
• 정적 분석 도구(CISE)를 개발하여 응용 프로그램 인버티언트가 AP 의미 체계 하에서도 유효한지 검증함으로써 전역 동기화의 필요성을 줄이는 것.

제안 방법

• 충돌을 방지하는 복제 데이터 유형(CRDT)을 기반 데이터 모델로 사용하여, 복제본 간에 직관적이고 수렴 가능한 비동기 업데이트를 가능하게 한다.
• 가용성을 유지하면서도 가장 강력한 일관성 모델인 Transactional Causal Consistency(TCC)를 사용하여, 인과적으로 순서가 지켜진 업데이트가 일관된 순서로 보여지도록 보장한다.
• 필요한 경우에만 동기화하는 Bounded Counter 데이터 유형을 도입하여, AP 환경 하에서도 정확성을 보장하는 안전하고 캡슐화된 CRDT를 제공한다.
• 정적 분석을 통해 CISE 도구를 활용하여 세 가지 조건을 검증한다: 개별 연산의 정확성, 동시 연산의 수렴성, 동시성 하에서의 사전 조건 안정성.
• 필요한 경우에만 CAP 민감성 인버티언트에 의해 요구되는 CP 모드 트랜잭션을 허용함으로써 하이브리드 일관성을 지원하며, 성능 비용을 최소화한다.
• Antidote 데이터베이스 시스템에 모든 구성 요소를 통합하여, CRDT, TCC, Bounded Counter, CISE 검증을 네이티브로 지원한다.

실험 결과

연구 질문

• RQ1 전체적으로 가용성이나 정확성을 희생하지 않고도 AP 시스템에서 응용 프로그램 수준의 인버티언트를 유지할 수 있는가?
• RQ2 어떤 인버티언트 패턴이 분할 상황에서의 가용성(AP)과 본질적으로 호환되며, 전역 동기화 없이도 보장될 수 있는가?
• RQ3 Bounded Counter와 같은 일반적인 CAP 민감성 패턴을 어떻게 캡슐화하여 정확성을 보장하면서도 동기화 오버헤드를 최소화할 수 있는가?
• RQ4 정적 분석을 사용하여 응용 프로그램의 인버티언트가 AP 의미 체계 하에서도 유효한지 공식적으로 검증할 수 있으며, 그렇지 않다면 어떤 연산이 동기화가 필요한가?
• RQ5 데이터베이스 시스템이 CP 대 AP 이분법을 피하면서도 원칙적이고 응용 프로그램 인식 일관성 모델을 얼마나 잘 지원할 수 있는가?

주요 결과

• CISE 정적 분석 도구는 동시 업데이트 하에서 사전 조건 검사의 안정성이 확보되지 않을 경우 이를 성공적으로 식별한다. FMKe 약물 투여 사용 사례에서 두 개의 동시 process-prescription 연산이 인버티언트 안전성을 위반함을 입증하였다.
• 충돌하는 process-prescription 연산에 동기화를 추가한 후 CISE는 인버티언트가 유지됨을 검증하여, 이 방법이 정확성 문제를 탐지하고 해결하는 데 효과적임을 입증하였다.
• Bounded Counter 데이터 유형은 증명 가능하게 정확하고 효율적이며 캡슐화된 솔루션을 제공하여, 응용 프로그램 수준의 동기화 필요성을 최소화한다.
• Antidote의 Transactional Causal Consistency(TCC) 구현은 이 모델을 지원하는 첫 번째 완전한 프로덕션 수준의 데이터베이스 시스템으로, 블로킹 없이 강력한 일관성 보장을 가능하게 한다.
• 시스템은 수백 대의 서버를 다수의 지리적으로 분산된 데이터 센터에서 실험적으로 검증되었으며, 산업 규모의 실현 가능성과 성능을 입증하였다.
• 이 방법을 통해 응용 프로그램은 인버티언트의 공식적 검증에 기반해, 너무 많은 동기화도, 너무 적은 동기화도 피하면서 AP 의미 체계 하에서도 정확성을 달성할 수 있다.