[논문 리뷰] Data Compression for Analytics over Large-scale In-memory Column Databases

Chunbin Lin, Jianguo Wang외 1명|arXiv (Cornell University)|2016. 06. 30.

Advanced Data Storage Technologies참고 문헌 8인용 수 3

한 줄 요약

이 논문은 온라인 분석 처리(OLAP) 워크로드를 위한 대규모 메모리 내 열지향 데이터베이스에서 데이터 압축의 실현 가능성을 조사한다. 압축 기법 중 일부—예를 들어 사전 인코딩, 연속길이 인코딩(RLE), 비트맵 인코딩—은 데이터를 압축된 상태로 직접 처리할 수 있게 해서 메모리 사용량과 I/O를 줄이며 쿼리 처리를 가속화할 수 있다고 주장한다. 주요 기여는 데이터 특성에 기반해 최적의 압축 체계를 선택하는 决책 프레임워크를 제안하는 것으로, vsb-RLE와 압축된 비트맵은 성능과 공간 효율성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

연구 동기 및 목표

• I/O 비용 감소로 인해 I/O가 더 이상 주요 병목이 되지 않는 메모리 내 열지향 데이터베이스에서 데이터 압축이 여전히 유익한가를 판단하는 것.
• 압축된 데이터에서 해체 없이 직접 쿼리 처리가 가능한 압축 체계를 특정하는 것.
• 열 유형(정수/문자열), 정렬 상태, 도메인 크기 기반으로 최적의 압축 기법을 체계적으로 선택할 수 있는 프레임워크를 제공하는 것.
• 메모리 내 OLAP 워크로드에 최적화된 vsb-RLE 및 압축된 비트맵과 같은 압축 체계를 평가하고 최적화하는 것.
• 일부 압축 방법이 주로 메모리 데이터베이스에서 메모리 프로파일을 감소시키면서도 쿼리 실행을 가속화할 수 있음을 입증하는 것.

제안 방법

• 메모리 내 열 저장소 환경에서 널리 사용되는 압축 체계—사전 인코딩, 연속길이 인코딩(RLE), 비트맵 인코딩, 허프만 인코딩—를 분석한다.
• 각 체계가 압축된 데이터에서 직접 쿼리 처리를 지원하는지 평가하며, 해체 없이 직접 연산이 가능한 체계와 전체 해체가 필요한 체계를 구분한다.
• 정수 열에 특히 효과적인 변수 크기 RLE와 비트 정렬 사전 인코딩을 결합한 하이브리드 압축 방법인 vsb-RLE(값-크기-비트 사전 RLE)를 제안한다.
• RLE로 압축된 값을 압축하기 위해 값(연속 길이가 아닌)만 인코딩하는 bit-DICT 최적화 기법을 도입하여 성능을 유지하면서 공간을 더 줄인다.
• 실험적 평가를 통해 해체 시간과 공간 절감 효과를 측정하며, 특히 허프만 인코딩의 Zipf 분포 데이터에 대한 성능을 분석한다.
• 열 유형, 정렬 상태, 도메인 크기를 기반으로 압축 체계를 선택할 수 있도록 决책 트리(그림 2)를 개발한다.

실험 결과

연구 질문

• RQ1 I/O가 더 이상 주요 병목이 되지 않는 메모리 내 열지향 데이터베이스에서 데이터 압축이 여전히 유익한가?
• RQ2 압축된 데이터에서 해체 없이 직접 쿼리 처리가 가능한 압축 체계는 무엇이며, 이로 인해 성능 향상이 가능한가?
• RQ3 정수 유형의 열에 대해 압축 체계를 어떻게 최적화하여 공간을 줄이고도 빠른 쿼리 실행을 유지할 수 있는가?
• RQ4 메모리 내 열 저장소에서 허프만 인코딩을 사용할 경우 성능과 공간 간의 상호 교환 관계는 어떠한가?
• RQ5 메모리 내 OLAP 데이터베이스의 특정 열에 대해 최적의 압축 체계를 선택할 때 고려해야 할 기준은 무엇인가?

주요 결과

• 압축된 데이터에서 직접 연산이 가능한 압축 체계를 사용할 경우, 데이터 압축은 메모리 프로파일 감소 외에도 쿼리 성능 향상에 기여하므로, 메모리 내 열지향 데이터베이스에서 여전히 유익하다.
• 사전 인코딩, RLE(RLE 포함 vsb-RLE), 압축된 비트맵 인코딩은 모두 압축된 데이터에서 직접 쿼리 처리가 가능하여 데이터 이동을 줄이고 압축되지 않은 데이터보다 실행 속도를 높인다.
• vsb-RLE는 10억 행의 정수 열에 대해 100만 개의 고유 값을 가질 경우 공간 비용을 6.5MB로 유지하며, 표준 vs-RLE(8MB) 대비 18% 감소, vsl-RLE(12MB) 대비 15% 감소를 기록한다.
• 허프만 인코딩은 높은 해체 오버헤드로 인해 메모리 내 데이터베이스에서는 권장되지 않으며, Zipf 분포 하에서 100만 행의 열을 해체하는 데 3.2분이 소요되었다.
• 압축된 비트맵 인코딩은 도메인 크기가 작을 경우에만 효과적이다(예: <50). 고카디널리티 열의 경우 비트맵 벡터의 수가 많아져 메모리 소비가 크다.
• 제안된 결책 트리(그림 2)는 실용적이고 데이터 기반의 압축 체계 선택 가이드를 제공한다: 정렬된 정수 열에는 vsb-RLE, 작은 도메인에는 압축된 비트맵, 큰 도메인에는 bit-DICT를 사용할 것.