[논문 리뷰] Fast Updates on Read-Optimized Databases Using Multi-Core CPUs

Jens Krueger, Changkyu Kim외 7명|arXiv (Cornell University)|2011. 09. 30.

Distributed systems and fault tolerance참고 문헌 21인용 수 4

한 줄 요약

이 논문은 읽기 최적화된 메모리 내 컬럼 형식 데이터베이스에서 병합 오버헤드를 30배 감소시켜 정지 없이 고용량 트랜잭션 워크로드를 지원할 수 있도록 다중 코어를 고려한 선형 시간 병합 알고리즘을 제안한다. CPU 캐시 계층과 스레드 수준 병렬 처리를 활용하여 압축된 메인 스토리지에 델타 업데이트를 효율적으로 병합하면서 분석 쿼리 성능을 유지한다.

ABSTRACT

Read-optimized columnar databases use differential updates to handle writes by maintaining a separate write-optimized delta partition which is periodically merged with the read-optimized and compressed main partition. This merge process introduces significant overheads and unacceptable downtimes in update intensive systems, aspiring to combine transactional and analytical workloads into one system. In the first part of the paper, we report data analyses of 12 SAP Business Suite customer systems. In the second half, we present an optimized merge process reducing the merge overhead of current systems by a factor of 30. Our linear-time merge algorithm exploits the underlying high compute and bandwidth resources of modern multi-core CPUs with architecture-aware optimizations and efficient parallelization. This enables compressed in-memory column stores to handle the transactional update rate required by enterprise applications, while keeping properties of read-optimized databases for analytic-style queries.

연구 동기 및 목표

• 기업 시스템에서 사용되는 읽기 최적화된 압축된 메모리 내 컬럼 형식 스토어에서 병합 작업의 성능 저하 문제를 해결하기 위해.
• 기존에 분석 쿼리 전용으로 최적화된 데이터베이스에서 실시간 트랜잭션 워크로드를 지원할 수 있도록 하기 위해.
• 병합 오버헤드를 줄이고 업데이트가 빈번한 환경에서 정지 시간을 제거하기 위해.
• 높은 업데이트 레이트와 동시에 높은 읽기 성능을 동시에 지원할 수 있는 시스템을 설계하기 위해.
• 12개의 SAP 비즈니스 스위트 고객 시스템에서 수집한 실제 기업 워크로드 데이터를 사용하여 접근 방식을 검증하기 위해.

제안 방법

• 저자들은 12개의 SAP 비즈니스 스위트 시스템에서 수집한 실제 기업 워크로드를 분석하여 병합 과정에서의 주요 성능 저하 요인을 규명한다.
• 아키텍처 인식 최적화를 사용하여 압축된 컬럼 형식 데이터를 메모리 내에서 직접 처리하는 선형 시간 병합 알고리즘을 설계한다.
• 다중 코어 CPU 병렬 처리, 캐시 우수한 데이터 레이아웃, 그리고 효율적인 스레드 스케줄링을 활용하여 컴퓨팅 및 메모리 대역폭 활용도를 극대화한다.
• 시스템 정지를 요구하지 않고 온라인으로 점진적인 병합을 통해 델타 파artition을 메인 압축 컬럼 스토어에 통합한다.
• 디셔너리 인코딩을 사용하고 전체 복구를 피하기 위해 직접적으로 압축된 데이터 구조를 운영한다.
• 현재 및 향후 CPU 아키텍처에서의 컴퓨팅 및 메모리 대역폭 요구 사항을 예측하기 위한 상세한 분석 모델을 개발한다.

실험 결과

연구 질문

• RQ1 실제 기업 워크로드 하에서 읽기 최적화된 메모리 내 컬럼 형식 스토어의 병합 과정에서 지배적인 성능 저하 요인은 무엇인가?
• RQ2 읽기 성능을 희생시키지 않고도 고속도 트랜잭션 워크로드를 지원하기 위해 병합 성능을 어떻게 향상시킬 수 있는가?
• RQ3 현대의 다중 코어 CPU는 아키텍처 인식 최적화를 통해 병합 과정을 얼마나 효과적으로 가속화할 수 있는가?
• RQ4 전체 복구 없이도 압축된 데이터에서 효율적으로 작동하는 선형 시간 병합 알고리즘을 설계할 수 있는가?
• RQ5 데이터 볼륨과 시스템 부하가 증가함에 따라 최적화된 병합 알고리즘의 성능은 어떻게 스케일링되는가?

주요 결과

• 현재 시스템에서 병합 과정은 기업 환경에서 월 평균 약 20시간의 정지 시간을 요구하여 실시간 트랜잭션 워크로드를 심각하게 제한한다.
• 제안된 알고리즘은 최적화되지 않은 순차적 구현 대비 병합 시간을 30배 감소시킨다.
• 다중 코어 병렬 처리와 캐시 인식 메모리 액세스 패턴을 통해 최적화된 구현이 30배의 성능 향상을 달성한다.
• 메인 스토어에서 압축된 컬럼 형식을 유지함으로써 높은 읽기 성능을 유지한다.
• 분석 모델은 현재 및 향후 CPU 아키텍처에서의 성능을 정확히 예측하여 접근 방식의 확장성을 검증한다.
• 생산 환경에서 최대 약 1,000건의 업데이트/초를 지원하며, 효율적인 병합을 통해 엔터프라이즈 트랜잭션 워크로드에 충분하다.