[논문 리뷰] Coordination-Avoiding Database Systems.

Peter Bailis, Alan Fekete외 4명|arXiv (Cornell University)|2014. 02. 10.

Distributed systems and fault tolerance참고 문헌 66인용 수 13

한 줄 요약

이 논문은 응용 프로그램 수준의 일致성을 유지하면서도 데이터베이스 시스템에서 coordination-free 실행을 가능하게 하는 공식 조건인 불변 연속성(invariant confluence)을 도입한다. 응용 프로그램 불변 조건을 분석함으로써 시스템은 필요할 때만 coordination을 피하며, 선형 확장성을 달성한다. 이를 입증하기 위해 100台의 서버에서 coordination 오버헤드 없이 초당 100만 건 이상의 TPC-C New-Order 트랜잭션을 처리하는 프로토타입을 구현하였다.

ABSTRACT

Concurrent access to shared state results in a fundamental trade-off between coordination—surfacing in the form of reduced availabil-ity, decreased scalability, and increased latency—and application-level consistency, or semantic guarantees for end users. Traditional mechanisms such as serializable transactions are sufficient to en-sure application-level consistency but require synchronous coor-dination, while weaker mechanisms may sacrifice consistency for less coordination and greater scalability. In this paper, we identify a necessary and sufficient condition for achieving coordination-free execution without violating application-level consistency: invari-ant confluence. By explicitly considering application-level invari-ants, invariant confluence analysis allows databases to coordinate between operations only when anomalies that might violate invari-ants are possible. This provides a formal basis for coordination-avoiding database systems, which coordinate only when it is nec-essary to do so. We demonstrate the utility of invariant confluence analysis on a subset of SQL and via a coordination-avoiding proof-of-concept database prototype that scales linearly to over a million TPC-C New-Order transactions per second on 100 servers. 1.

연구 동기 및 목표

• 병행 데이터베이스 시스템에서 coordination 오버헤드와 응용 프로그램 수준 일치성 사이의 근본적 상충 관계를 해결하기 위해.
• 모든 경우에 coordination이 필요하지 않은 일치성을 보장하는 공식 조건을 규명하기 위해.
• 불필요한 coordination을 최소화함으로써 데이터베이스 시스템의 선형 확장성을 달성하기 위해.
• 응용 프로그램 수준의 불변 조건을 활용한 coordination 회피 시스템에 실용적인 기반을 제공하기 위해.

제안 방법

• coordination-free 실행을 위한 필수적이고 충분한 조건으로 불변 연속성을 제안한다.
• 응용 프로그램 수준의 불변 조건을 분석하여 coordination을 안전하게 피할 수 있는 시점을 규명한다.
• 실행 수준에서 불변 연속성을 강제하는 개념적 프로토타입 데이터베이스를 설계한다.
• 불변 연속성 분석을 활용해 트랜잭션 스케줄링 및 실행 결정을 이끌어낸다.
• 실행 시점 메커니즘을 도입하여 coordination을 허용하기 전 잠재적 불변 위반 여부를 점검한다.
• 정확성 보장을 위해 일부 SQL 연산에 대해 조건을 적용하여 coordination-free 실행 하에 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 어떤 공식 조건이 응용 프로그램 수준 일치성을 위반하지 않으면서도 coordination을 피할 수 있도록 보장하는가?
• RQ2 응용 프로그램 불변 조건을 어떻게 활용하여 실제로 coordination이 필요한지 판단할 수 있는가?
• RQ3 coordination 회피 데이터베이스 시스템은 일치성을 유지하면서도 선형 확장성을 달성할 수 있는가?
• RQ4 실제 환경에서 불변 연속성 분석의 성능 오버헤드는 얼마나 되는가?
• RQ5 실세계 워크로드에서 불변 연속성은 기존의 일관성 있는 격리 수준과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 불변 연속성 조건은 응용 프로그램 수준 일치성을 위반하지 않으면서도 coordination-free 실행을 위한 필수적이고 충분한 조건이다.
• 개념적 프로토타입은 100台의 서버에서 coordination 오버헤드 없이 초당 100만 건 이상의 TPC-C New-Order 트랜잭션을 처리한다.
• 불변 연속성 분석을 활용해 대부분의 연산에서 coordination을 피할 수 있다.
• 시스템은 coordination 유발 블로킹을 크게 줄이면서도 전체 응용 프로그램 수준 일치성을 유지한다.
• 분산 노드 간 선형 확장성을 달성하며, 고처리량 환경에서 coordination 집약적 대안보다 뛰어난 성능을 보인다.
• 불변 연속성 분석은 이상 현상이 발생할 가능성이 있는 경우를 효과적으로 식별하고 이를 방지한다.