[논문 리뷰] The Vertica Analytic Database: C-Store 7 Years Later

Andrew Lamb, Matt Fuller외 5명|arXiv (Cornell University)|2012. 08. 21.

Advanced Database Systems and Queries참고 문헌 15인용 수 26

한 줄 요약

이 논문은 C-Store 연구 프로토타입에서 유래한 상용 분산 다중 병렬 분석 데이터베이스인 Vertica를 제시한다. Vertica는 컬럼 형식 스토리지, 벡터화된 쿼리 실행, 적응형 압축, 공유 자원이 없는 아키텍처를 활용하여 페타바이트 규모의 분석 워크로드에서 높은 성능을 달성하며, 현대의 관계형 데이터베이스 시스템이 표준 SQL 인터페이스를 유지하면서도 웹 스케일 성능을 제공할 수 있음을 입증한다.

ABSTRACT

This paper describes the system architecture of the Vertica Analytic Database (Vertica), a commercialization of the design of the C-Store research prototype. Vertica demonstrates a modern commercial RDBMS system that presents a classical relational interface while at the same time achieving the high performance expected from modern "web scale" analytic systems by making appropriate architectural choices. Vertica is also an instructive lesson in how academic systems research can be directly commercialized into a successful product.

연구 동기 및 목표

• C-Store에서의 학술 연구가 스케일러블하고 생산 수준의 분석 데이터베이스 시스템으로 성공적으로 상용화된 방식을 보여주기 위해.
• 기존의 OLTP 최적화 RDBMS 시스템이 현대의 대규모 분석 워크로드를 처리할 때 겪는 성능 한계를 해결하기 위해.
• 현대적 분산 공유 자원이 없는 RDBMS가 페타바이트 규모의 데이터에서 높은 성능을 달성하면서도 완전한 ACID 준수와 SQL 인터페이스를 유지할 수 있음을 보여주기 위해.
• 실제 생산 환경에서의 구현 및 배포 경험을 통해 향후 대규모 분석 시스템에 대한 연구에 기여할 수 있는 교훈을 공유하기 위해.

제안 방법

• 분석 쿼리가 많은 수의 튜플을 스캔하는 데 최적화하기 위해 컬럼 형식 스토리지 모델을 채택하기 위해.
• SIMD 병렬 처리를 활용하고 CPU 명령어 오버헤드를 줄이기 위해 벡터화된 쿼리 실행을 구현하기 위해.
• 저장소 및 I/O를 줄이기 위해 런레ング스 인코딩(RLE), 사전 인코딩, 압축 이전 정렬과 같은 적응형 압축 기법을 사용하기 위해.
• 노드 추가에 따라 선형적으로 확장되며 네트워크 병목 현상을 방지하는 공유 자원이 없는 다중 병렬 아키텍처를 설계하기 위해.
• 정지 없이 또는 쿼리 일시 정지 없이 데이터 로딩, 유지보수, 스키마 변경 등의 온라인 작업을 가능하게 하기 위해.
• 물리적 설계, 인덱싱, 스토리지 관리의 자동화를 통해 관리 오버헤드를 줄이고 사용 용이성을 우선시하기 위해.

실험 결과

연구 질문

• RQ1 상용 RDBMS 시스템이 표준 SQL 인터페이스를 유지하면서도 분석 워크로드에서 웹 스케일 성능을 달성할 수 있는 방법은 무엇인가?
• RQ2 페타바이트 규모의 데이터를 위한 분산 공유 자원이 없는 데이터베이스 시스템에서 선형 확장성 달성을 위한 아키텍처 선택은 무엇인가?
• RQ3 컬럼 형식 스토리지, 압축, 벡터화된 실행이 레코드 기반 설계 대비 분석 시스템의 성능 향상과 I/O 감소에 얼마나 기여하는가?
• RQ4 실제 생산 환경의 배포 경험은 학술 프로토타입을 초월해 대규모 분석 데이터베이스의 설계 및 진화에 어떻게 기여하는가?
• RQ5 현대적 완전한 ACID 준수 RDBMS가 관계적 의미 체계를 유지하면서도 NoSQL 시스템보다 분석 워크로드에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 100만 개의 랜덤 정수에 대해 Vertica는 원시 CSV 대비 12.5배의 압축 비율을 달성하여 7.5MB를 0.6MB로 줄였다. 이는 컬럼 형식 인코딩과 압축 덕분이었다.
• 2억 건의 고객 레코드에 대해 Vertica는 데이터를 418MB(1줄당 2.1바이트)로 압축했으며, 원시 CSV의 6200MB와 gzip 압축 대비 1050MB에 비해 뚜렷한 저장소 절감 효과를 보였다.
• 압축 이전에 데이터를 정렬함으로써 고객 데이터 세트 크기를 418MB로 줄였으며, Metric(5KB) 및 Meter(35MB)와 같은 개별 컬럼은 RLE를 통해 높은 압축률을 달성했다.
• 대량 로딩 속도가 높아 동시 쿼리에서 병목 현상이 발생하지 않도록 하여 데이터 로딩 및 복잡한 분석 쿼리 모두에서 높은 성능을 달성했다.
• Vertica의 아키텍처는 리눅스와 기가비트 이더넷을 사용하는 일반적인 x86-64 서버에서 공유 스토리지 병목 현상을 피하면서도 선형 확장성을 실현했다.
• 500건 이상의 생산 환경에서의 성공 사례, 일부는 페타바이트 수준을 초월하는 사례를 포함하여, 현대적 분산 컬럼 형식 RDBMS 시스템의 상용성과 기술적 타당성을 입증했다.