[논문 리뷰] From WiscKey to Bourbon: A Learned Index for Log-Structured Merge Trees

Yifan Dai, Yien Xu외 5명|arXiv (Cornell University)|2020. 05. 28.

Data Quality and Management참고 문헌 34인용 수 34

한 줄 요약

논문은 Bourbon을 WiscKey 스타일의 LSM 트리에 대한 학습 인덱스 확장으로 소개하며, 부분적 선형 회귀를 사용하여 조회를 빠르게 하고 학습의 가치 여부를 결정하는 비용-편익 메커니즘을 제시합니다. 다양한 데이터셋과 워크로드에서 1.23×–1.78× 더 빠른 조회를 달성합니다.

ABSTRACT

We introduce BOURBON, a log-structured merge (LSM) tree that utilizes machine learning to provide fast lookups. We base the design and implementation of BOURBON on empirically-grounded principles that we derive through careful analysis of LSM design. BOURBON employs greedy piecewise linear regression to learn key distributions, enabling fast lookup with minimal computation, and applies a cost-benefit strategy to decide when learning will be worthwhile. Through a series of experiments on both synthetic and real-world datasets, we show that BOURBON improves lookup performance by 1.23x-1.78x as compared to state-of-the-art production LSMs.

연구 동기 및 목표

• 학습 인덱스를 LSM에 적용하여 읽기 조회 성능을 개선하고 쓰기 오버헤드를 과도하게 증가시키지 않도록 하는 동기를 부여한다.
• LSM 내부에서 학습이 적용될 때의 시점과 위치에 대한 가이드라인을 도출한다(파일 대 레벨의 입자, 워크로드 인식).
• 생산 품질의 학습 인덱스 확장인 Bourbon을 WiscKey에 설계·구현하고 합성 데이터와 실데이터 세트에서 성능을 평가한다.

제안 방법

• 학습 인덱스가 쓰기를 불안정하게 하거나 인덱싱 오버헤드를 증가시키지 않으면서 어디서 학습 인덱스가 인덱싱 오버헤드를 줄일 수 있는지 WiscKey를 분석한다.
• 그래디드(탐욕적) 부분적 선형 회귀(PLR)를 채택하여 SSTables 또는 레벨 내에서 키 분포를 학습한다.
• 온라인으로 어느 파일이나 레벨을 학습하는 것이 가치 있는지 결정하는 비용-편익 분석기를 도입한다.
• 값을 별도로 저장(key-value 분리)하고 가변 크기 값의 오프셋을 가지는 고정 크기 키에 대해 학습한다.
• 파일 수준 학습(기본값) 대 레벨 수준 학습을 평가하고 각 경우가 언제 유익한지 입증한다.
• Bourbon의 최적화된 LSM 시스템 통합을 ~5K의 추가 LOC와 함께 제시한다.

실험 결과

연구 질문

• RQ1 학습 인덱스가 WiscKey와 같은 LSM 기반 시스템에서 재학습을 과도하게 요구하지 않으면서 조회 성능을 개선할 수 있는가?
• RQ2 어떤 세부 단위(파일 대 레벨)와 어떤 워크로드 조건이 학습 인덱스의 이점을 극대화하는가?
• RQ3 온라인으로 어느 파일이나 레벨을 학습할지 결정하는 방식은 어떻게 되어야 순이익을 극대화하는가?
• RQ4 메모리 상주 및 빠른 저장소 시나리오(예: Optane)에서 학습 인덱스 접근 방식은 LSM에 대해 어떠한 성능 차이를 보이는가?

주요 결과

• Bourbon은 다양한 데이터세트와 워크로드에 대해 생산 LSM 대비 조회를 1.23×–1.78× 빠르게 만든다.
• 학습 이득은 조회 지연의 상당 부분이 인덱싱에 기인할 때 가장 뚜렷하며, 이는 데이터 접근 비용이 낮거나 인덱싱이 우위를 차지하는 메모리 상주 또는 빠른 저장소 시나리오에서 특히 그러하다.
• 쓰기 밀도가 높은 워크로드에서는 파일 수준 학습이 레벨 수준 학습보다 우수하며, 반면 읽기 전용 설정에서는 레벨 학습이 이로울 수 있다.
• 온라인 비용-편익 분석기는 짧은 수명의 파일에 대한 학습을 방지하여 불필요한 학습 노력을 줄인다.
• 학습 가이드라인은 다음과 같다: (i) 낮고 안정적인 레벨/파일 학습을 우선하라; (ii) 짧은 수명의 파일에 대한 학습은 지연하라; (iii) 잠재적으로 잘못된 조회를 초래할 수 있는 높은 레벨을 무시하지 마라; (iv) 워크로드를 인식하라; (v) 많은 쓰기 하에서 레벨 학습을 피하라.