[논문 리뷰] Tsunami: A Learned Multi-dimensional Index for Correlated Data and Skewed Workloads

Jialin Ding, Vikram Nathan외 2명|arXiv (Cornell University)|2020. 06. 23.

Data Management and Algorithms참고 문헌 32인용 수 19

한 줄 요약

Tsunami는 쿼리 속도 왜곡에 적응하기 위한 그리드 트리와 상관관계 인식 파artitioning을 위한 확장된 그리드를 사용하여 관련 데이터와 비균형 워크로드에 대해 동적으로 최적화하는 학습 기반 메모리 내 다차원 인덱스이다. 기존 학습 기반 인덱스보다 최대 6배 빠른 쿼리 성능과 8배 작아진 인덱스 크기를 달성하였으며, 최적화된 전통적 인덱스보다 최대 11배 빠르고 170배 작다.

ABSTRACT

Filtering data based on predicates is one of the most fundamental operations for any modern data warehouse. Techniques to accelerate the execution of filter expressions include clustered indexes, specialized sort orders (e.g., Z-order), multi-dimensional indexes, and, for high selectivity queries, secondary indexes. However, these schemes are hard to tune and their performance is inconsistent. Recent work on learned multi-dimensional indexes has introduced the idea of automatically optimizing an index for a particular dataset and workload. However, the performance of that work suffers in the presence of correlated data and skewed query workloads, both of which are common in real applications. In this paper, we introduce Tsunami, which addresses these limitations to achieve up to 6X faster query performance and up to 8X smaller index size than existing learned multi-dimensional indexes, in addition to up to 11X faster query performance and 170X smaller index size than optimally-tuned traditional indexes.

연구 동기 및 목표

• 기존 학습 기반 다차원 인덱스가 관련 데이터와 비균형 쿼리 워크로드를 처리하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 주어진 데이터셋과 워크로드에 대해 데이터 레이아웃과 인덱스 구조를 동시에 최적화하는 자가 최적화 인덱스를 설계하기 위해.
• 실제 환경에서 데이터 상관관계와 비균형 쿼리 접근 패턴이 존재할 경우 인덱스 크기를 줄이고 쿼리 처리량을 향상시키기 위해.
• 수동 조정 없이 다양한 데이터 분포와 접근 패턴에 걸쳐 견고하고 적응 가능한 성능을 제공하기 위해.

제안 방법

• Tsunami는 쿼리 속도 왜곡을 최소화하기 위해 데이터 공간을 겹치지 않는 영역으로 나누는 경량 결정 트리인 그리드 트리를 사용한다. 이는 영역 간 접근 빈도를 균형 있게 유지함으로써 성능을 향상시킨다.
• 기능 매핑과 조건부 누적분포함수(CDF)를 사용하여 차원 간 상관관계를 모델링하는 확장된 그리드 구조를 적용한다.
• 쿼리 워크로드 통계를 사용하여 그리드 트리를 학습시켜 자주 액세스되는 영역이 효율적으로 인덱싱되도록 파artitioning을 유도한다.
• 기능 매핑을 통해 관련된 차원을 낮은 차원 공간으로 변환함으로써 인덱스 크기를 줄이고 검색 효율을 향상시킨다.
• 조건부 CDF는 한 차원의 분포를 다른 차원의 값에 따라 적응적으로 모델링함으로써 선택도 추정을 향상시킨다.
• 시스템은 인덱스 구조와 데이터 저장 레이아웃을 하나의 종단 간 파이프라인에서 동시에 최적화하여 수동 조정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 학습 기반 다차원 인덱스는 성능 저하 없이 비균형 쿼리 워크로드에 효과적으로 적응할 수 있는가?
• RQ2 데이터 차원 간 상관관계를 활용하여 클러스터링 인덱스에서 인덱스 크기를 줄이고 쿼리 성능을 향상시킬 수 있는가?
• RQ3 인덱스 구조와 데이터 레이아웃을 공동 최적화하여 기존 전통적 또는 학습 기반 인덱스보다 더 나은 성능을 달성할 수 있는가?
• RQ4 어떤 데이터 구조가 데이터 상관관계가 존재하더라도 일정한 셀 크기를 유지하면서 효율적이고 적응 가능한 파artitioning을 가능하게 하는가?

주요 결과

• Tsunami는 관련성과 비균형 워크로드에서 기존 학습 기반 다차원 인덱스보다 최대 6배 높은 쿼리 처리량을 달성한다.
• 기존 학습 기반 인덱스 대비 최대 8배 작아진 인덱스 크기를 확보하여 메모리 효율성을 크게 향상시킨다.
• 최적화된 전통적 인덱스보다 쿼리 성능에서 최대 11배 빠르고 인덱스 크기를 최대 170배 작게 한다.
• 그리드 트리는 영역 간 접근 빈도를 균형 있게 유지함으로써 쿼리 속도 왜곡을 효과적으로 완화하고 핫스팟 성능을 향상시킨다.
• 확장된 그리드는 기능 매핑과 조건부 CDF를 사용하여 복잡한 상관관계를 포착하며, 높은 선택도와 낮은 오차를 유지한다.
• Tsunami의 종단 간 인덱스와 데이터 레이아웃 공동 최적화는 수동 조정이 필요 없으며 다양한 워크로드에서 견고한 성능을 보장한다.