[논문 리뷰] Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads

Dingheng Mo, Fanchao Chen외 2명|arXiv (Cornell University)|2023. 08. 14.

Advanced Data Storage TechnologiesComputer Science인용 수 3

한 줄 요약

RusKey는 새로운 FLSM-tree 아키텍처와 수준 기반 DDPG 기반 강화학습 모델을 사용하여 동적 워크로드에 맞게 LSM-tree 압축 정책을 동적으로 최적화하는 강화학습(RL) 기반 키-값 스토어이다. 사전 워크로드 지식 없이 다양한 워크로드에서 RocksDB 대비 최대 4배 빠른 종단 간 성능을 달성하며, 적응형 정책 학습과 수준 간 효율적 정책 전파를 통해 뛰어난 내구성을 입증한다.

ABSTRACT

LSM-trees are widely adopted as the storage backend of key-value stores. However, optimizing the system performance under dynamic workloads has not been sufficiently studied or evaluated in previous work. To fill the gap, we present RusKey, a key-value store with the following new features: (1) RusKey is a first attempt to orchestrate LSM-tree structures online to enable robust performance under the context of dynamic workloads; (2) RusKey is the first study to use Reinforcement Learning (RL) to guide LSM-tree transformations; (3) RusKey includes a new LSM-tree design, named FLSM-tree, for an efficient transition between different compaction policies -- the bottleneck of dynamic key-value stores. We justify the superiority of the new design with theoretical analysis; (4) RusKey requires no prior workload knowledge for system adjustment, in contrast to state-of-the-art techniques. Experiments show that RusKey exhibits strong performance robustness in diverse workloads, achieving up to 4x better end-to-end performance than the RocksDB system under various settings.

연구 동기 및 목표

• 변동하는 워크로드 환경에서 LSM-tree 기반 키-값 스토어의 높은 성능 유지를 위한 과제를 해결하기 위해.
• 워크로드 특성에 대한 사전 지식이 필요 없는 온라인, 워크로드 적응형 시스템을 설계하기 위해.
• LSM-trees에서 압축 정책 간 전환 비용이 높은 문제를 최소화하여 동적 환경에서의 실시간 적응을 가능하게 하기 위해.
• 강화학습을 활용해 LSM-tree의 다수 수준 간 효율적이고 확장 가능한 정책 학습을 가능하게 하기 위해.
• 다양한 압축 정책 간 전환 비용을 낮추고 효율적인 전환을 지원하는 새로운 LSM-tree 변형인 FLSM-tree를 개발하기 위해.

제안 방법

• 정책 적용을 데이터 레이아웃에서 분리함으로써 다양한 압축 정책 간 전환을 효율적으로 가능하게 하는 새로운 LSM-tree 설계인 FLSM-tree를 제안한다.
• 각 수준별 최적의 압축 정책을 학습하기 위해 딥 디터미니스틱 정책 그라디언트(DDPG) 기반의 수준 기반 강화학습 프레임워크인 Lerp를 도입한다.
• 고수준에서 저수준으로 정책 지식을 공유함으로써 정책 전파를 통해 샘플 복잡도를 감소시키고 학습 속도를 가속화한다.
• 각 수준별 정책 결정을 모델링하여 액션 공간을 축소함으로써 실현 가능하고 확장 가능한 RL 학습을 가능하게 한다.
• 실시간 성능 향상을 위한 보상 함수를 성능 지표(예: 읽기/쓰기 증폭, 지연 시간) 기반으로 정의하여 정책 학습을 이끈다.
• 대부분의 워크로드에서 총 작업 비용의 1% 미만의 런타임 오버헤드로 온라인 모델 업데이트를 구현한다.

실험 결과

연구 질문

• RQ1 변동하는 워크로드에 대응해 LSM-tree 압축 정책을 동적으로 튜닝하기 위해 강화학습을 효과적으로 활용할 수 있는가?
• RQ2 LSM-trees에서 압축 정책 간 전환 비용을 어떻게 최소화할 수 있을까? 이는 실시간 적응을 가능하게 하는 데 핵심이다.
• RQ3 정책 전파 기반 수준 기반 RL 모델은 더 적은 학습 데이터와 더 빠른 수렴을 달성할 수 있는가?
• RQ4 제안된 FLSM-tree 설계는 기존 LSM-trees에 비해 정책 전환의 효율성을 어떻게 향상시키는가?
• RQ5 다양하고 동적인 워크로드 환경에서, 게이트 정책 선택 방식에 비해 RL 기반 시스템은 어느 정도 뛰어난 성능을 낼 수 있는가?

주요 결과

• RusKey는 읽기 중심, 쓰기 중심, 균형 잡힌 워크로드를 포함한 다양한 워크로드에서 RocksDB 대비 최대 4배 빠른 종단 간 성능을 달성한다.
• 시스템은 사전 워크로드 정보 없이도 모든 워크로드 유형에서 근사 최적의 성능을 유지하며 강력한 내구성을 입증한다.
• 모델 업데이트 비용은 극히 낮으며, 고처리량 워크로드에서도 평균적으로 총 작업 시간의 1% 미만을 차지한다.
• 정책 전파 덕분에 샘플 요구량이 크게 감소하여 브루트 포스 접근 방식이 24시간 이내에 실패하는 상황에서도 효과적인 학습이 가능해졌다.
• 그리디 정책 선택 방법은 균형 잡힌 또는 혼합 워크로드에서 최적의 성능을 달성하지 못하지만, RusKey는 효과적으로 적응한다.
• FLSM-tree 설계 덕분에 정책 전환이 효율적으로 이루어져 전환 전략을 변경할 때의 지연 시간과 오버헤드가 감소한다.