[논문 리뷰] REMIX: Efficient Range Query for LSM-trees

Wenshao Zhong, Chen Chen외 2명|arXiv (Cornell University)|2020. 10. 24.

Advanced Data Storage Technologies참고 문헌 41인용 수 8

한 줄 요약

이 논문은 여러 LSM-tree 테이블 파일에 걸쳐 키-값(KV) 데이터의 글로벌로 정렬된 뷰를 유지하는 공간 효율적이고 지속 가능한 인덱스 구조인 REMIX를 제안한다. 이는 키 비교 없이 이진 탐색과 순차적 검색을 가능하게 하여, RemiXDB와 같은 왈쓰 최적화된 LSM-tree 스토어에서 범위 쿼리를 가속화하며, 계층적 컴팩션을 사용해 높은 읽기 성능과 낮은 왇트 앰플리피케이션을 동시에 달성한다. 이로 인해 읽기 및 왇트 워크로드 모두에서 최신 기술 시스템을 능가한다.

ABSTRACT

LSM-tree based key-value (KV) stores organize data in a multi-level structure for high-speed writes. Range queries on traditional LSM-trees must seek and sort-merge data from multiple table files on the fly, which is expensive and often leads to mediocre read performance. To improve range query efficiency on LSM-trees, we introduce a space-efficient KV index data structure, named REMIX, that records a globally sorted view of KV data spanning multiple table files. A range query on multiple REMIX-indexed data files can quickly locate the target key using a binary search, and retrieve subsequent keys in sorted order without key comparisons. We build RemixDB, an LSM-tree based KV-store that adopts a write-efficient compaction strategy and employs REMIXes for fast point and range queries. Experimental results show that REMIXes can substantially improve range query performance in a write-optimized LSM-tree based KV-store.

연구 동기 및 목표

• 계층적 컴팩션과 같은 왇트 최적화 전략을 사용하는 LSM 트리 기반 키-값 스토어에서의 열악한 범위 쿼리 성능을 해결하기 위해.
• 범위 쿼리 중에 비용이 많이 드는 실시간 정렬-병합 작업이 필요 없도록, 다수의 테이블 파일에 걸쳐 KV 데이터의 지속적이고 글로벌로 정렬된 뷰를 유지하기 위해.
• 전통적인 읽기 성능와 왇트 성능 간의 상호 충돌을 극복하면서도 읽기 효율성을 높이되 왇트 효율성은 희생하지 않기 위해.
• 최소한의 I/O 및 계산 오버헤드로 빠른 포인트 쿼리와 범위 쿼리를 지원하는 컴act한 인덱스 구조를 설계하기 위해.

제안 방법

• 다양한 LSM-tree 테이블 파일에 걸쳐 키-값 데이터의 글로벌로 정렬된 뷰를 유지하는 컴 pact하고 지속 가능한 다중 테이블 인덱스인 REMIX를 도입한다.
• REMIX에서 이진 탐색을 사용해 범위 쿼리의 시작 키를 신속하게 위치함으로써, 반복자 병합이 필요 없도록 한다.
• 키 비교나 추가 I/O 없이도 REMIX 인덱스에서 정렬된 순서로 후속 키를 직접 검색한다.
• 쓰기 효율적인 계층적 컴팩션 전략과 통합하여 왇트 앰플리피케이션을 최소화하면서도 빠른 읽기 성능을 유지한다.
• REMIX를 사용해 빠른 포인트 및 범위 쿼리를 제공하고, 계층적 컴팩션을 통해 낮은 왇트 비용을 확보하는 전체적인 LSM-tree 기반 키-값 스토어인 RemixDB를 구축한다.
• 랜덤 I/O와 순차적 I/O가 거의 동일한 현대의 스토리지 성능(예: SSD, 3D XPoint)을 활용하여 물리적 데이터 정렬이 필요한 경우를 줄인다.

실험 결과

연구 질문

• RQ1 높은 왇트 앰플리피케이션을 유발하지 않으면서도 LSM 트리에서 빠른 범위 쿼리를 제공할 수 있는 컴 pact하고 지속 가능한 인덱스 구조를 설계할 수 있는가?
• RQ2 다수의 테이블 파일에 걸쳐 KV 데이터의 글로벌로 정렬된 뷰를 유지함으로써, 범위 쿼리 중 테이블 접근 횟수와 키 비교 횟수를 줄일 수 있는가?
• RQ3 계층적 컴팩션 기반 LSM 트리에서 REMIX가 동시에 낮은 왇트 앰플리피케이션과 높은 읽기 성능을 달성할 수 있는가?
• RQ4 필터링 기반 기법들(예: Bloom 필터, SuRF, Rosetta)과 비교했을 때, REMIX는 CPU, 메모리, I/O 오버헤드 측면에서 범위 쿼리에 대해 어떤가?
• RQ5 혼합된 읽기 및 왇트 패턴을 가진 실세계 워크로드에서 REMIX는 성능 향상에 얼마나 기여하는가?

주요 결과

• REMIX는 키 비교 없이도 다수의 겹치는 테이블 파일을 통해 이진 탐색과 순차적 검색을 가능하게 하여 범위 쿼리 성능을 크게 향상시킨다.
• RemixDB는 혼합 워크로드에서 최신 기술의 LSM-tree 기반 키-값 스토어보다 읽기 및 왇트 작업 모두에서 뛰어난 성능을 달성한다.
• REMIX의 사용 덕분에 RemixDB는 계층적 컴팩션을 통해 낮은 왇트 앰플리피케이션을 유지하면서도 빠른 범위 쿼리 성능을 확보할 수 있다.
• 필터링 기반 접근 방식과 달리, REMIX는 쿼리 선택도나 키 분포에 관계없이 일관된 성능 향상을 제공한다.
• REMIX의 성능 향상은 특히 큰 범위 쿼리와 테이블 파일 간의 높은 겹침을 가지는 워크로드에서 두드러지며, 이 경우 필터링 기법은 I/O 감소에 실패한다.
• 실험 결과 REMIX는 범위 쿼리 중 테이블 접근 횟수와 I/O 연산 수를 줄임으로써 더 빠른 응답 시간과 낮은 CPU 사용률을 달성함을 확인했다.