[논문 리뷰] Compacting Transactional Data in Hybrid OLTP & OLAP Databases

Florian Funke, Alfons Kemper외 1명|arXiv (Cornell University)|2012. 08. 01.

Distributed systems and fault tolerance참고 문헌 18인용 수 5

한 줄 요약

이 논문은 고성능 하이브리드 OLTP/OLAP 데이터베이스에 대한 비동기적 압축 기법을 제안하며, 자주 액세스되는 핫 데이터와 드물게 액세스되는 콜드 데이터를 분리하고, 콜드 데이터를 압축하여 거대한 메모리 페이지에 저장함으로써 메모리 사용량을 줄이고 OLAP 쿼리 처리 속도를 향상시킵니다. 이 기법은 배경 스레드를 활용해 압축과 재구성 작업을 이행함으로써 OLTP 처리량에 거의 영향을 주지 않으면서도 상당한 성능 향상을 달성합니다.

ABSTRACT

Growing main memory sizes have facilitated database management systems that keep the entire database in main memory. The drastic performance improvements that came along with these in-memory systems have made it possible to reunite the two areas of online transaction processing (OLTP) and online analytical processing (OLAP): An emerging class of hybrid OLTP and OLAP database systems allows to process analytical queries directly on the transactional data. By offering arbitrarily current snapshots of the transactional data for OLAP, these systems enable real-time business intelligence. Despite memory sizes of several Terabytes in a single commodity server, RAM is still a precious resource: Since free memory can be used for intermediate results in query processing, the amount of memory determines query performance to a large extent. Consequently, we propose the compaction of memory-resident databases. Compaction consists of two tasks: First, separating the mutable working set from the immutable "frozen" data. Second, compressing the immutable data and optimizing it for efficient, memory-consumption-friendly snapshotting. Our approach reorganizes and compresses transactional data online and yet hardly affects the mission-critical OLTP throughput. This is achieved by unburdening the OLTP threads from all additional processing and performing these tasks asynchronously.

연구 동기 및 목표

• 높은 트랜잭션 처리량 요구 사항으로 인해 데이터 압축이 제약을 받는 인-memory 하이브리드 OLTP/OLAP 데이터베이스에서의 메모리 효율성 문제를 해결하기 위해.
• 데이터 레이아웃과 압축을 최적화하여 트랜잭션 데이터를 직접 실시간 분석 쿼리 처리에 효율적으로 활용할 수 있도록 하기 위해.
• OLTP 트랜잭션 처리량을 떨어뜨리지 않으면서도 메모리 소비를 줄이고 쿼리 성능을 향상시키기 위해.
• 압축에 적합한 콜드 데이터 청크를 식별하기 위한 경량이면서 하드웨어 지원 기반의 모니터링 메커니즘을 개발하기 위해.

제안 방법

• 데이터 액세스 패턴을 추적하고 핫 데이터 및 콜드 데이터 세그먼트를 식별하기 위해 하드웨어 지원 기반의 저오버헤드 모니터링 컴ponent를 사용합니다.
• 액세스 빈도와 워킹 세트 가정에 기반해 데이터베이스를 핫(가변) 및 콜드(불변) 데이터로 분리합니다.
• 콜드 데이터 청크에 손실 없는 압축을 적용하고, 이를 거대한 가상 메모리 페이지에 저장하여 캐시 효율성을 높이고 메모리 프로파일을 줄입니다.
• OLTP 트랜잭션 처리와 분리된 배경 스레드를 통해 비동기적으로 데이터 재구성 및 압축을 수행함으로써 성능 저하를 방지합니다.
• 압축된 데이터에서 접두사 및 범위 스캔을 가속화하기 위해 순서 유지 딕셔너리와 메모리 효율적인 보조 인덱스(예: 레드블랙 트리)를 활용합니다.
• 콜드 데이터에 대해 즉시 삭제 대신 무효화 마커를 사용함으로써, 고무효화 비율 조건에서도 스캔 성능을 유지합니다.

실험 결과

연구 질문

• RQ1 고성능 OLTP 시스템에 압축을 효과적으로 통합할 수 있을까? 이는 트랜잭션 처리량 저하 없이 가능할까?
• RQ2 활성 트랜잭션 처리에 간섭을 최소화하면서 콜드 데이터를 효율적으로 식별하고 압축 대상으로 분리할 수 있을까?
• RQ3 하이브리드 OLTP/OLAP 시스템에서 메모리 소비와 OLAP 쿼리 성능을 동시에 최적화하는 데 가장 효과적인 압축 및 저장 기법은 무엇일까?
• RQ4 비동기적 압축이 분석 쿼리 실행 성능을 향상시키는 데 기여하면서도 OLTP 성능에 어느 정도 영향을 미칠까?
• RQ5 순서 유지 딕셔너리와 압축된 데이터에 대한 컴 pact 보조 인덱스는 쿼리 성능에 어떤 영향을 미칠까?

주요 결과

• 제안된 압축 기법은 메모리 소비를 크게 줄였으며, OLTP 처리량은 거의 최적 수준을 유지합니다. 데이터의 1/36가 무효화된 상태에서도 성능 저하가 4.5%에서 7.9% 사이로 매우 미미합니다.
• 핫/콜드 클러스터링 메커니즘이 데이터베이스의 대부분을 콜드 데이터로 식별하여 효과적인 압축을 가능하게 했습니다.
• 선택도가 3.3% 이상일 경우 순서 유지 딕셔너리가 해시 기반 검색보다 우수하여, 중간에서 높은 선택도를 가지는 분석 쿼리에 효율적입니다.
• 레드블랙 트리 기반 보조 인덱스는 엔트리당 24바이트로 메모리 소비를 줄였으며, 저선택도 쿼리에서 딕셔너리보다 성능이 뛰어납니다.
• 거대한 메모리 페이지에 콜드 데이터를 압축 저장함으로써 캐시 국소성과 쿼리 실행 속도가 향상되었으며, 특히 스캔 중심의 분석 워크로드에서 두드러진 효과를 보였습니다.
• 고정된 청크에 대한 무효화 메커니즘이 효율적인 메모리 레이아웃과 액세스 패턴 덕분에, 극단적인 무효화 비율 조건에서도 높은 스캔 성능을 유지합니다.