[논문 리뷰] FoundationDB Record Layer: A Multi-Tenant Structured Datastore

C. Chrysafis, Ben Collins외 11명|arXiv (Cornell University)|2019. 01. 14.

Advanced Database Systems and Queries참고 문헌 23인용 수 5

한 줄 요약

FoundationDB Record Layer는 FoundationDB 기반으로 구축된 오픈소스이자 상태 없는 다중 테넌트 구조화된 데이터 스토어로, 스키마 관리, 풍부한 인덱싱(버전화 및 크로스 타입 인덱싱 포함), 선언적 쿼리와 같은 관계형 유사 세미틱스를 제공하면서도 ACID 트랜잭션과 확장성을 그대로 이어받는다. 각 테넌트의 데이터와 인덱스를 논리적 데이터베이스로 격리함으로써 대규모 다중 테넌시를 가능하게 하며, CloudKit가 빌리언 수준의 사용자 데이터베이스를 고성능과 낮은 유지보수 오버헤드로 관리하는 데 기여한다.

ABSTRACT

The FoundationDB Record Layer is an open source library that provides a record-oriented data store with semantics similar to a relational database implemented on top of FoundationDB, an ordered, transactional key-value store. The Record Layer provides a lightweight, highly extensible way to store structured data. It offers schema management and a rich set of query and indexing facilities, some of which are not usually found in traditional relational databases, such as nested record types, indexes on commit versions, and indexes that span multiple record types. The Record Layer is stateless and built for massive multi-tenancy, encapsulating and isolating all of a tenant's state, including indexes, into a separate logical database. We demonstrate how the Record Layer is used by CloudKit, Apple's cloud backend service, to provide powerful abstractions to applications serving hundreds of millions of users. CloudKit uses the Record Layer to host billions of independent databases, many with a common schema. Features provided by the Record Layer enable CloudKit to provide richer APIs and stronger semantics with reduced maintenance overhead and improved scalability.

연구 동기 및 목표

• 상태 기반 서비스에 대해 다중 테넌시와 강력한 일致성(consistency)을 갖춘 확장 가능하고 고가용성, 고일致성 백엔드를 구축하는 데 도전 과제를 해결하기 위해.
• 구조화된 데이터, 스키마 진화, 복잡한 쿼리 기능을 지원하는 FoundationDB 위에 경량이며 확장 가능하고 상태 없는 계층을 제공하기 위해.
• 각 테넌트의 데이터와 인덱스를 논리적 데이터베이스로 封장함으로써 효율적이고 격리되고 확장 가능한 다중 테넌시를 실현하면서도 트랜잭션 무결성을 훼손하지 않기 위해.
• 중첩 레코드, 버전화된 인덱스, 물리적 집계와 같은 풍부한 데이터베이스 추상화를 제공함으로써 애플리케이션 개발 복잡성과 유지보수 오버헤드를 줄이기 위해.
• 계층적이고 확장 가능한 데이터베이스 아키텍처가 산업 수준의 대규모 실사용 워크로드(예: CloudKit)를 지원할 수 있음을 입증하기 위해.

제안 방법

• Protocol Buffer 메시지를 사용하여 구조화되고 타입이 지정되며 중첩된 데이터 레코드를 표현하는 기반으로 기록 중심 데이터 모델을 구축한다.
• 시간이 지남에 따라 애플리케이션 데이터 모델이 변화하는 것을 지원하기 위해 스키마 관리 및 진화 도구를 제공한다.
• 기본 인덱스, 버전화된 인덱스(커밋 타임스탬프 기반), 크로스 타입 인덱스를 포함한 다양한 인덱스 유형을 지원하며, 충돌 없는 동시 업데이트를 위해 FoundationDB의 원자적 변환(atomic mutations)을 활용한다.
• 상태 없는 설계를 통해 상태 조율 없이도 컴퓨팅 자원을 수평적으로 확장할 수 있도록 한다.
• 쿼리 플래너가 인덱스를 활용하여 선언적 쿼리를 효율적으로 실행할 수 있도록 스트리밍 쿼리 실행 모델을 사용한다.
• 사용자 정의 인덱스 유형, 직렬화(예: 암호화, 압축), 쿼리 연산자 등에 대한 광범위한 확장 포인트를 노출함으로써 깊이 있는 커스터마이제이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층적이고 상태 없는 데이터베이스 시스템은 어떻게 대규모 다중 테넌시 환경에서 강력한 ACID 세미틱스와 풍부한 쿼리 기능을 제공할 수 있는가?
• RQ2 분산 키-밸류 스토어에서 효율적이고 충돌 없는 동시 인덱스 유지보수를 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 공유 인프라를 사용하면서도 성능과 낮은 운영 오버헤드를 유지하면서 빌리언 수준의 격리된 논리적 데이터베이스를 어떻게 지원할 수 있는가?
• RQ4 일致성 또는 성능을 훼손하지 않으면서도 데이터베이스 계층에서의 확장성은 어떤 메커니즘으로 달성되는가?
• RQ5 저수준의 트랜잭션 기반 키-밸류 스토어 위에 구축된 고수준 데이터 추상화가 실제 생산 환경에서 기존 관계형 데이터베이스의 기능을 충족하거나 초월할 수 있는가?

주요 결과

• FoundationDB Record Layer는 Apple의 CloudKit에서 수백만 명의 사용자를 대상으로 하되, 빌리언 수준의 격리된 다중 테넌시 데이터베이스를 성공적으로 생산 환경에서 지원한다.
• 이 계층은 트랜잭션 기반의 전체 텍스트 인덱싱, 고병렬성 존(high-concurrency zones)과 같은 강력한 기능을 제공하여 애플리케이션 개발과 시스템 성능을 향상시킨다.
• 원자적 변환을 사용해 인덱스 업데이트를 수행함으로써 고부하 환경에서도 충돌 없는 동시 인덱스 유지보수를 달성한다.
• 상태 없는 설계 덕분에 컴퓨팅 자원의 수평적 확장을 원활하게 할 수 있으며, 데이터 배치와의 분리로 로드 밸런싱을 단순화한다.
• 확장성 모델을 통해 클라이언트는 사용자 정의 인덱스 유형과 직렬화 로직을 통합할 수 있어 암호화된 스토리지나 특수 집계와 같은 use cases를 지원할 수 있다.
• 시스템은 분산 키-밸류 스토어 위에 계층적 아키텍처를 구축함으로써 강력한 일관성과 고확장성을 갖춘 관계형 유사 기능을 제공할 수 있음을 입증한다.