[논문 리뷰] Elle: Inferring Isolation Anomalies from Experimental Observations

Kyle Kingsbury, Peter Alvaro|arXiv (Cornell University)|2020. 03. 23.

Distributed systems and fault tolerance참고 문헌 24인용 수 10

한 줄 요약

Elle은 클라이언트가 관찰할 수 있는 트랜잭션 이력에서 유도된 종속성 그래프를 통해 블랙박스 데이터베이스에서 고립성 이상을 탐지하기 위한 새로운, 타당하고 효율적이며 정보적인 체커이다. Elle은 추적 가능하고 복구 가능한 자료형(예: 추가 전용 리스트)을 활용하여 G0, G1a, G1b, G1c, G-single, G2, 더러운 업데이트, 쓰레기 읽기, 중복 쓰기, 내부 일관성 위반 등 다양한 이상을 선형 시간 성능과 인간이 이해할 수 있는 증거로 탐지하고 설명한다.

ABSTRACT

Users who care about their data store it in databases, which (at least in principle) guarantee some form of transactional isolation. However, experience shows [Kleppmann 2019, Kingsbury and Patella 2019a] that many databases do not provide the isolation guarantees they claim. With the recent proliferation of new distributed databases, demand has grown for checkers that can, by generating client workloads and injecting faults, produce anomalies that witness a violation of a stated guarantee. An ideal checker would be sound (no false positives), efficient (polynomial in history length and concurrency), effective (finding violations in real databases), general (analyzing many patterns of transactions), and informative (justifying the presence of an anomaly with understandable counterexamples). Sadly, we are aware of no checkers that satisfy these goals. We present Elle: a novel checker which infers an Adya-style dependency graph between client-observed transactions. It does so by carefully selecting database objects and operations when generating histories, so as to ensure that the results of database reads reveal information about their version history. Elle can detect every anomaly in Adya et al's formalism [Adya et al. 2000] (except for predicates), discriminate between them, and provide concise explanations of each. This paper makes the following contributions: we present Elle, demonstrate its soundness, measure its efficiency against the current state of the art, and give evidence of its effectiveness via a case study of four real databases.

연구 동기 및 목표

• 실제 데이터베이스에서 트랜잭션 고립성 검증을 위해 타당하고 효율적이며 효과적이고 일반적이며 정보적인 체커의 부족을 해결하기 위해.
• 수작업으로 증명된 인variants에 의존하거나 고정된 이상 패턴, NP-완전 해결기를 사용하는 기존 도구의 한계를 극복하기 위해.
• 내부 데이터베이스 접근 없이도 임의의 트랜잭션 패턴을 통해 여러 종류의 이상을 탐지할 수 있도록 하기 위해.
• 관찰 가능한 읽기와 쓰기에서 유도된 종속성 그래프를 통해, 탐지된 이상에 대해 간결하고 인간이 이해할 수 있는 설명을 제공하기 위해.
• 이론적 고립 형식화(Adya 등)와 실제 세계의 데이터베이스에 대한 블랙박스 테스팅 사이의 격차를 메우기 위해.

제안 방법

• 읽기 및 쓰기 연산에서 유도된 가시성 및 커밋 순서를 기반으로 클라이언트가 관찰한 트랜잭션에서 Adya 스타일의 종속성 그래프를 구성한다.
• 특히 추가 전용 리스트를 포함한 추적 가능하고 복구 가능한 자료형을 사용하여, 객체의 각 버전이 트랜잭션에 유일하게 매핑되도록 하여 버전 역사를 정확히 유추할 수 있도록 한다.
• 종속성 그래프에서 사이클 탐지를 적용하여 G0, G1a, G1b, G1c, G-single, G2 등의 고립성 이상을 식별한다.
• 실시간 및 프로세스별 종속성을 활용하여 시간 및 충돌 동작과 관련된 이상을 탐지한다.
• 제약 조건이 없고 선형 시간 알고리즘을 사용하여 이력 길이에 비례하고 동시성에 대해 거의 일정한 성능을 보이며, NP-완전 해결기를 피한다.
• 특정 이상이 발생한 이유를 정확히 설명하는 간결하고 인간이 이해할 수 있는 반례를 생성하여 문제의 원인이 되는 트랜잭션과 그 순서를 정확히 특정한다.

실험 결과

연구 질문

• RQ1 블랙박스 데이터베이스 체커가 수작업으로 증명된 인variants에 의존하지 않고도 표준 고립성 이상(G0, G1a, G1b, G1c, G-single, G2)을 모두 탐지할 수 있는가?
• RQ2 읽기에서 반환된 값과 접근한 객체들만을 사용하여 관찰 가능한 운영만으로도 트랜잭션 종속성 그래프를 유추할 수 있는가?
• RQ3 이러한 체커가 이력 길이에 대해 선형 시간 성능을 보이며, 수십만 건의 트랜잭션을 포함한 실제 이력에도 확장 가능한가?
• RQ4 체커가 다양한 종류의 이상을 구분하고 각각에 대해 정보적이고 인간이 이해할 수 있는 설명을 제공할 수 있는가?
• RQ5 이러한 접근 방식은 임의의 트랜잭션 패턴으로 일반화되고, 더 약한 고립 수준(예: 읽기 커밋 또는 스냅샷 고립)을 지원할 수 있는가?

주요 결과

• Elle은 타당하다: Elle이 보고하는 모든 이상은 관찰된 이력의 모든 해석에서 존재해야 하며, 거짓 경고가 없음을 보장한다.
• Elle은 효율적이다: 이력 길이에 대해 선형 시간으로 실행되며 동시성에 대해 거의 일정한 성능을 보이며, 선형성 및 제약 조건 기반 체커를 능가한다.
• Elle은 효과적이다: 테스트한 모든 실제 데이터베이스에서 이상을 탐지했으며, 내부 일관성 위반, 실패한 읽기, 반의존성 사이클 등을 포함한다.
• Elle은 일반적이다: 추적 가능하고 복구 가능한 자료형(예: 추가 전용 리스트)을 사용하는 임의의 트랜잭션 패턴에 대해 작동하며, 현대 데이터베이스에서 널리 지원된다.
• Elle은 정보적이다: 각 이상의 원인이 되는 구체적인 트랜잭션과 운영을 정확히 설명하는 짧고 인간이 이해할 수 있는 증거를 생성하여 디버깅을 돕는다.
• Elle는 선형성 위반 외에도 더러운 업데이트, 쓰레기 읽기, 중복 쓰기, 내부 일관성 위반 등 광범위한 이상을 탐지할 수 있다.