[논문 리뷰] Data Compression for Analytics over Large-scale In-memory Column Databases (Summary Paper).

Chunbin Lin, Jianguo Wang외 1명|arXiv (Cornell University)|2016. 06. 30.

Advanced Data Storage Technologies참고 문헌 8인용 수 3

한 줄 요약

이 논문은 메모리 기반 컬럼형 데이터베이스에서 데이터 압축의 실현 가능성과 최적의 적용 방법을 조사하며, 압축이 메모리 대역폭 부담을 줄이고 캐시 효율성을 향상시켜 성능 향상에 기여할 수 있음을 제안한다. 실증적 평가를 통해 대규모 메모리 기반 온라인 분석 처리(OLAP) 시스템에서 선택적 압축 인식 쿼리 처리가 상당한 성능 향상을 이끌 수 있음을 입증한다.

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

연구 동기 및 목표

• 메모리 스토리지로의 전환에도 불구하고 데이터 압축이 여전히 메인메모리 컬럼형 데이터베이스에서 유익한지 평가하는 것.
• 메모리 기반 OLAP 시스템에서 메모리 대역폭을 감소시키고 캐시 활용도를 향상시키는 데 가장 효과적인 압축 기법을 특정하는 것.
• 쿼리 성능을 극대화하면서 오버헤드를 최소화하는 방식으로 메모리 데이터베이스에 압축을 적용하는 프레임워크를 제안하는 것.

제안 방법

• 실세계의 메모리 기반 컬럼형 데이터베이스 워크로드에 다양한 압축 기법(예: 사전 기반, 연속값 압축, 비트 수준 압축)을 평가한다.
• 메모리 액세스 패턴과 대역폭 소비를 분석하여 압축이 데이터 이동을 줄일 수 있는 병목 현상을 파악한다.
• 쿼리 실행 프로파일링을 활용해 압축/해제 비용과 I/O 감소 사이의 트레이드오프를 측정한다.
• 컬럼 통계와 쿼리 패턴을 기반으로 압축 기법을 선택하는 압축 인식 쿼리 최적화기의 설계를 제안한다.
• 메인메모리 컬럼 스토어 기반 프로토타입을 구현하여 다양한 워크로드 하에서 종단 간 성능을 측정한다.
• 성능 모델링을 적용하여 압축이 다양한 유형의 분석 쿼리에 미치는 영향을 예측한다.

실험 결과

연구 질문

• RQ1 메모리의 낮은 지연 시간를 감안할 때, 메모리 기반 컬럼형 데이터베이스에서 데이터 압축이 여전히 유익한가?
• RQ2 메모리 대역폭과 캐시 효율성 측면에서 가장 뛰어난 성능 향상을 이끌어내는 압축 기법은 무엇인가?
• RQ3 어떻게 압축을 컬럼별로 선택적으로 적용하여 해제 오버헤드를 최소화하면서도 데이터 감소 효과를 극대화할 수 있는가?
• RQ4 메모리 기반 데이터베이스의 쿼리 실행 파이프라인 내에서 압축을 최적의 지점에 통합할 수 있는가?
• RQ5 다양한 쿼리 유형(예: 선택, 집계)은 메모리 내 압축에 어떻게 반응하는가?

주요 결과

• 분석 워크로드 전반에서 평균적으로 메모리 대역폭 부담이 최대 60% 감소하여 명확한 성능 향상이 이루어진다.
• 메모리 기반 컬럼 스토어에서 사전 기반 압축과 연속값 압축이 압축 비율과 해제 비용 사이의 최적의 균형을 이룬다.
• 선택적 압축—고도로 재현되는 컬럼에만 압축을 적용하는 방식—은 해제 오버헤드를 줄이면서도 상당한 데이터 감소 효과를 유지한다.
• 고도의 선택성과 큰 스캔 작업을 포함한 워크로드에서 압축의 성능 향상 효과가 가장 두드러진다.
• 제안된 압축 인식 쿼리 최적화기는 컬럼별로 압축 기법을 지능적으로 선택함으로써 최대 25% 빠른 쿼리 실행 성능을 달성한다.