[논문 리뷰] Coordination Avoidance in Database Systems (Extended Version)

Peter Bailis, Alan Fekete외 4명|arXiv (Cornell University)|2014. 02. 10.

Distributed systems and fault tolerance참고 문헌 78인용 수 3

한 줄 요약

이 논문은 응용 수준의 인variants를 유지하면서도 coordination-free로 실행될 수 있는 조건을 결정하는 형식적 프레임워크인 불변 동시성($\mathcal{I}$-confluence)을 도입한다. 참조 무결성 제약 조건과 체크 제약 조건과 같은 무결성 제약 조건을 분석함으로써, 저자들은 많은 일반적인 연산이 $\mathcal{I}$-confluent임을 보여주며, 이는 일관성 손실 없이 TPC-C New-Order 워크로드에서 일관성 실행 대비 최대 25배의 성능 향상을 가능하게 한다.

ABSTRACT

Minimizing coordination, or blocking communication between concurrently executing operations, is key to maximizing scalability, availability, and high performance in database systems. However, uninhibited coordination-free execution can compromise application correctness, or consistency. When is coordination necessary for correctness? The classic use of serializable transactions is sufficient to maintain correctness but is not necessary for all applications, sacrificing potential scalability. In this paper, we develop a formal framework, invariant confluence, that determines whether an application requires coordination for correct execution. By operating on application-level invariants over database states (e.g., integrity constraints), invariant confluence analysis provides a necessary and sufficient condition for safe, coordination-free execution. When programmers specify their application invariants, this analysis allows databases to coordinate only when anomalies that might violate invariants are possible. We analyze the invariant confluence of common invariants and operations from real-world database systems (i.e., integrity constraints) and applications and show that many are invariant confluent and therefore achievable without coordination. We apply these results to a proof-of-concept coordination-avoiding database prototype and demonstrate sizable performance gains compared to serializable execution, notably a 25-fold improvement over prior TPC-C New-Order performance on a 200 server cluster.

연구 동기 및 목표

• 기존의 일관성 있는 트랜잭션 방식이 과도한 조정이 필요하여 발생하는 확장성과 가용성의 한계를 해결하기 위해.
• 응용 수준의 일관성을 유지하기 위해 반드시 필요한 조정 조건을 결정하고, 보수적인 격리 수준에 의존하지 않기 위해.
• 안전한 coordination-free 실행을 위해 필수적이고도 충분한 조건인 $\mathcal{I}$-confluence를 형식화하기 위해.
• 실제 데이터베이스 인variants와 연산을 분석하여 어떤 것들이 조정 없이 실행될 수 있는지 규명하기 위해.
• coordination 회피가 실제 시스템에서 어떤 성능적 이점을 가져올 수 있는지 실험적으로 보여주기 위해.

제안 방법

• 응용 인variants를 유지하는 데 있어 동시 실행이 가능한지를 보장하는 형식적 조건인 불변 동시성($\mathcal{I}$-confluence)을 정의한다.
• 데이터베이스 상태 공간에서 상태 전이로 연산과 인variants를 모델링하고, 동시 실행이 유효한 상태로 병합될 수 있는지 분석한다.
• 공통적인 무결성 제약 조건인 참조 키, 유일성 제약 조건, 체크 제약 조건, 주 키에 대해 $\mathcal{I}$-confluence 분석을 적용한다.
• $\mathcal{I}$-confluence를 활용해 조정이 필요한 경우에만 조정을 수행하는 coordination-avoiding 데이터베이스 프로토타입을 구현한다.
• 분석 결과를 바탕으로 RAMP 트랜잭션과 연쇄 삭제에 대한 coordination-free 알고리즘 설계를 이끌어낸다.
• TPC-C New-Order 및 OLTPBench 워크로드를 사용해 프로토타입을 일관성 실행 방식과 비교하여 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 응용 수준의 일관성을 유지하기 위해 조정이 실제로 언제 필수적인가?
• RQ2 일관성 제약 조건을 유지하면서 안전하게 조정 없이 실행될 수 있는 연산 집합을 형식적으로 판단할 수 있는가?
• RQ3 일반적인 데이터베이스 제약 조건(예: 참조 키, 유일성 제약 조건) 중에서 $\mathcal{I}$-confluent인 것은 무엇이며, 따라서 조정 없이 안전하게 실행될 수 있는가?
• RQ4 실제 OLTP 워크로드에서 조정 회피가 성능에 얼마나 큰 영향을 미칠 수 있는가?
• RQ5 $\mathcal{I}$-confluence는 확장성과 고성능 데이터베이스 시스템을 설계하는 데 설계 원칙으로 사용될 수 있는가?

주요 결과

• 참조 키 제약 조건, 고유한 값 생성, 체크 제약 조건을 포함한 많은 일반적인 데이터베이스 인variants는 $\mathcal{I}$-confluent이며, 따라서 조정 없이 실행해도 안전하다.
• 일반적으로 주 키 제약 조건은 $\mathcal{I}$-confluent가 아니며, 충돌을 방지하기 위해 조정이 필요하다.
• 200台 서버 클러스터에서 TPC-C New-Order 벤치마크에서 coordination-avoiding 프로토타입은 일관성 실행 대비 25배의 성능 향상을 달성했다.
• $\mathcal{I}$-confluence 분석은 참조 키 제약 조건 하에서의 삽입과 연쇄 삭제가 조정 없이 실행 가능하다는 점을 정확히 규명하여 효율적인 분산 알고리즘을 가능하게 했다.
• 이 프레임워크는 데이터베이스가 필요한 경우에만 조정을 수행함으로써, 일관성 실행 대비 조정 오버헤드를 크게 줄였다.
• 결과적으로 조정 회피가 이론적으로 타당할 뿐 아니라 실세계 워크로드에서 실용적이고 매우 높은 성능을 발휘할 수 있음을 입증했다.