[논문 리뷰] ElasTraS: An Elastic Transactional Data Store in the Cloud

Sudipto Das, Divyakant Agrawal외 1명|arXiv (Cornell University)|2010. 08. 23.

Distributed systems and fault tolerance참고 문헌 20인용 수 163

한 줄 요약

ElasTraS는 클라우드 환경을 위한 유연하고 트랜잭션 기반의 데이터 스토어를 제안하며, 파artition 단위에서 유연성과 ACID 준수를 동시에 달성하기 위해 파artition된 데이터베이스 아키텍처와 클라우드의 확장성 기능을 융합한다. 이는 경량 트랜잭션 매니저와 동적 파artition 재할당을 통해 확장 가능한 일관성 있는 트랜잭션을 지원하면서도, 사용자 지불 기반 클라우드 인프라를 통해 낮은 오버헤드와 비용 효율성을 유도한다.

ABSTRACT

Over the last couple of years, "Cloud Computing" or "Elastic Computing" has emerged as a compelling and successful paradigm for internet scale computing. One of the major contributing factors to this success is the elasticity of resources. In spite of the elasticity provided by the infrastructure and the scalable design of the applications, the elephant (or the underlying database), which drives most of these web-based applications, is not very elastic and scalable, and hence limits scalability. In this paper, we propose ElasTraS which addresses this issue of scalability and elasticity of the data store in a cloud computing environment to leverage from the elastic nature of the underlying infrastructure, while providing scalable transactional data access. This paper aims at providing the design of a system in progress, highlighting the major design choices, analyzing the different guarantees provided by the system, and identifying several important challenges for the research community striving for computing in the cloud.

연구 동기 및 목표

• 기존 데이터베이스의 확장성 한계를 해결하기 위해 클라우드 환경에서 데이터 스토어 계층의 유연성을 제공하기 위해.
• 단일 파artition 내에서 ACID 트랜잭션 보장을 제공하면서도 클라우드 인프라에서 수평적 확장성을 지원하기 위해.
• 동적 파artition 재할당과 자동 복구를 통해 고가용성과 비용 효율성을 달성하기 위해.
• 스케일러블 NoSQL 스토어와 전통적인 관계형 데이터베이스 사이의 격차를 메우기 위해, 최소한의 성능 오버헤드로 트랜잭션 의미 체계를 지원하기 위해.
• 주로 단일 객체 또는 소규모 데이터 세트에 접근하는 현대 웹 워크로드를 경량이고 확장 가능한 트랜잭션 모델을 통해 지원하기 위해.

제안 방법

• ElasTraS는 데이터를 논리적 파artition으로 나누며, 각 파artition는 트랜잭션 처리와 동시성 제어를 담당하는 온-트랜잭션 매니저(OTM)가 관리한다.
• 읽기 전용 트랜잭션은 상태가 없는 읽기 전용 트랜잭션 매니저(HTM)가 처리하며, 로드에 따라 쉽게 생성하거나 제거할 수 있다.
• 메타데이터 매니저를 사용하여 파artition와 OTM 간의 매핑 및 레이스를 추적함으로써 동적 로드 밸런싱과 장애 복구를 가능하게 한다.
• 로그 기반 복구를 적용한다: OTM은 내구성을 확보하기 위해 로그를 엘라스틱 블록 스토어(EBS)에 기록하며, 장애 후 상태 복구가 가능하다.
• 런타임 로드에 따라 OTM 및 HTM 인스턴스를 동적으로 생성하거나 제거함으로써 유연성을 확보하며, 자동 파artition 재할당 및 메타데이터 업데이트를 수행한다.
• 시스템은 동시성 제어, 복구 등의 검증된 데이터베이스 기법과 Bigtable 스타일의 파artition 기반 확장성 원칙을 융합하여 일관성과 성능의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 클라우드 기반 데이터 스토어는 어떻게 확장성과 강력한 ACID 트랜잭션 보장을 동시에 달성할 수 있는가?
• RQ2 기존 트랜잭션에 영향을 주지 않으면서 동적 파artition 재할당을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 경량이고 상태가 없는 트랜잭션 매니저는 분산 데이터 스토어에서 확장성과 장애 내성에 어떻게 기여하는가?
• RQ4 확장 가능한 파artition 기반 트랜잭션 시스템에서 일관성, 가용성, 성능 간의 상충 관계는 어떻게 존재하는가?
• RQ5 파artition 기반 데이터베이스와 클라우드의 확장성 기능을 융합한 하이브리드 모델은 최소한의 응용 프로그램 변경으로 실제 웹 워크로드를 지원할 수 있는가?

주요 결과

• ElasTraS는 개별 데이터 파artition 내에서 일관성 있는, ACID 준수 트랜잭션 처리를 제공하여 일관성과 내구성을 보장한다.
• 시스템은 로드에 따라 OTM 및 HTM 인스턴스를 동적으로 생성하거나 제거함으로써 유연성을 확보하며, 사용도가 낮을 경우 운영 비용을 절감한다.
• 장애 복구는 로그 기반 상태 재구성 기법을 통해 이루어지며, OTM는 인스턴스 장애 후 EBS에 저장된 로그를 바탕으로 복구된다.
• HTM는 상태가 없으며 빠르게 인스턴스화될 수 있어 읽기 중심 워크로드를 효율적으로 처리할 수 있다.
• 설계는 웹 애플리케이션에서 흔히 발생하는 단일 키 또는 단일 파artition 트랜잭션 중심의 워크로드를 지원한다.
• 동적 파artition 재할당은 OTM 간의 로드 밸런싱을 가능하게 하여 다양한 워크로드 하에서 시스템의 확장성과 반응성 향상을 이룬다.