[논문 리뷰] A Model and Survey of Distributed Data-Intensive Systems

Alessandro Margara, Gianpaolo Cugola외 2명|arXiv (Cornell University)|2022. 03. 21.

Distributed and Parallel Computing Systems인용 수 9

한 줄 요약

이 논문은 데이터 모델, 처리 전략, 일관성, 장애 내성, 배포 방식 등의 핵심 기능을 분석함으로써 분산 데이터 집약적 시스템을 분류하고 비교할 수 있는 통합 모델을 제안한다. 이 모델을 통해 20개 이상의 시스템에 대한 체계적 분류가 가능해지며, 설계적 트레이드오프를 드러내고 하이브리드 트랜잭션/분석 처리 및 분산 시스템에서의 강력한 일관성 지원 증가와 같은 새로운 추세를 규명한다.

ABSTRACT

Data is a precious resource in today's society, and is generated at an unprecedented and constantly growing pace. The need to store, analyze, and make data promptly available to a multitude of users introduces formidable challenges in modern software platforms. These challenges radically transformed all research fields that gravitate around data management and processing, with the introduction of distributed data-intensive systems that offer new programming models and implementation strategies to handle data characteristics such as its volume, the rate at which it is produced, its heterogeneity, and its distribution. Each data-intensive system brings its specific choices in terms of data model, usage assumptions, synchronization, processing strategy, deployment, guarantees in terms of consistency, fault tolerance, ordering. Yet, the problems data-intensive systems face and the solutions they propose are frequently overlapping. This paper proposes a unifying model that dissects the core functionalities of data-intensive systems, and precisely discusses alternative design and implementation strategies, pointing out their assumptions and implications. The model offers a common ground to understand and compare highly heterogeneous solutions, with the potential of fostering cross-fertilization across research communities and advancing the field. We apply our model by classifying tens of systems: an exercise that brings to interesting observations on the current trends in the domain of data-intensive systems and suggests open research directions.

연구 동기 및 목표

• 다양한 연구 공동체 간의 복잡성과 이질성을 고려하여, 다양한 솔루션을 이해하고 비교할 수 있는 공통 프레임워크를 제공함으로써 증가하는 분산 데이터 집약적 시스템의 복잡성과 이질성 문제를 해결하고자 한다.
• 대규모 빅데이터 처리 시스템 간의 데이터 모델, 일관성 모델, 배포 전략의 차이에도 불구하고 반복되는 설계 패턴과 트레이드오프를 식별하고자 한다.
• 기존의 데이터베이스와 스트림 처리 시스템 간 전통적 경계를 초월하는 공통 개념 모델을 제공함으로써 연구 공동체 간 상호 영향을 주고받을 수 있도록 유도하고자 한다.
• 제안된 모델을 사용하여 Hologres, TSpoon, VoltDB 등의 다양한 시스템을 분류하고 분석함으로써 현재의 추세와 열린 연구 과제를 규명하고자 한다.
• 기존 시스템 간 일관성 보장, 복제, 동적 재구성의 격차를 부각시킴으로써 향후 시스템 설계 및 연구를 지원하고자 한다.

제안 방법

• 저자들은 데이터 모델, 처리 전략, 일관성 모델, 장애 내성 메커니즘, 배포 모델, 복제 전략의 여섯 가지 핵심 차원을 포함하는 형식적 모델을 정의한다.
• 각 시스템은 여섯 차원에 걸친 설계 선택을 추출함으로써 이 모델에 매핑되며, 이는 체계적인 비교를 가능하게 한다.
• 이 모델은 기능적 및 비기능적 특성에 기반해 NewSQL, NoSQL, 스트림 처리 엔진, 하이브리드 시스템 등의 범주로 시스템을 분류하는 데 지원한다.
• 모델의 표현력과 유용성을 검증하기 위해 Hologres, TSpoon, S-Store 등을 포함한 20개 이상의 실제 시스템에 대한 타이포노미 기반 설문 조사 방법을 사용한다.
• 그룹 원자성 및 격리 수준과 같은 분산 시스템 및 데이터베이스 이론의 개념을 통합하여 데이터플로우 시스템에서의 트랜잭션 의미 체계를 형식화한다.
• 정적 분류 외에도 공유 실행 환경에서의 로드 밸런싱, 재구성, 작업 우선순위 지정과 같은 동적 요소를 분석에 포함한다.

실험 결과

연구 질문

• RQ1 다양한 연구 공동체 간에 매우 이질적인 분산 데이터 집약적 시스템을 비교할 수 있도록 통합 모델을 설계하는 방법은 무엇인가?
• RQ2 현대의 데이터 집약적 시스템에서 일관성, 장애 내성, 처리 전략 분야에서 지배적인 설계 패턴과 트레이드오프는 무엇인가?
• RQ3 시스템들이 전통적인 데이터베이스와 스트림 처리 플랫폼 간 경계를 어느 정도나 허물며, 이는 시스템 분류에 어떤 영향을 미치는가?
• RQ4 분산 데이터플로우 시스템에서 강력한 일관성과 트랜잭션 의미 체계를 지원할 경우의 영향은 무엇이며, 이는 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 공유된 다중 테넌트 데이터 처리 환경에서 복제, 동적 재구성, 격리 보장 분야에서 아직 남아 있는 열린 연구 과제는 무엇인가?

주요 결과

• 제안된 모델은 20개 이상의 다양한 데이터 집약적 시스템을 성공적으로 분류하였으며, 반복적인 설계 패턴을 드러내고 데이터베이스와 스트림 처리 패러다임의 융합을 규명하였다.
• 많은 현대 시스템에서 하이브리드 트랜잭션/분석 처리(HTAP)를 지원하고 있으며, Hologres와 S-Store는 운영 데이터 기반 실시간 분석을 가능하게 한다.
• TSpoon은 두 단계 커밋과 트랜잭션 관리자를 사용하여 데이터플로우 시스템에서 강력한 일관성(일관성 있는 격리)을 달성할 수 있음을 보여주지만, 성능 오버헤드가 수반된다.
• 다양한 발전에도 불구하고 대부분의 시스템에서 공유 상태의 복제가 여전히 제대로 이행되지 않으며, Hologres를 비롯한 소수의 시스템만 이를 첫 번째 고려 사항으로 삼고 있다.
• 장애 내성은 일반적으로 로깅과 체크포인팅을 통해 달성되지만, 대부분의 시스템에서 내구성 있는 스토리지 계층에 의존하는 것이 핵심 가정으로 남아 있다.
• 동적 재구성 및 로드 인식 스케줄링은 특히 공유된 다중 테넌트 환경에서 중요한 능력으로 부상하고 있으며, Hologres는 인터랙티브 및 분석 워크로드를 균형 있게 조절하기 위해 우선순위 기반 작업 스케줄링을 보여주고 있다.