[논문 리뷰] Efficient LSM-Tree Key-Value Data Management on Hybrid SSD/HDD Zoned Storage

Jinhong Li, Qiuping Wang외 1명|arXiv (Cornell University)|2022. 05. 24.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

HHZS는 ZNS SSD와 HM-SMR HDD 하이브리드 스토리지 환경에서 LSM-트리 기반 키-값 스토리지(예: RocksDB)의 효율적인 저장을 가능하게 하는 미들웨어 시스템이다. 이는 애플리케이션 힌트를 활용하여 쓰기 지향적 배치, 워크로드 인지 이동, 애플리케이션 힌트 기반 캐싱을 구현함으로써 실제 ZNS SSD와 HM-SMR HDD 하드웨어에서 기준 대비 28.0–69.3% 높은 처리량을 달성한다.

ABSTRACT

Zoned storage devices, such as zoned namespace (ZNS) solid-state drives (SSDs) and host-managed shingled magnetic recording (HM-SMR) hard-disk drives (HDDs), expose interfaces for host-level applications to support fine-grained, high-performance storage management. Combining ZNS SSDs and HM-SMR HDDs into a unified hybrid storage system is a natural direction to scale zoned storage at low cost, yet how to effectively incorporate zoned storage awareness into hybrid storage is a non-trivial issue. We make a case for key-value (KV) stores based on log-structured merge trees (LSM-trees) as host-level applications, and present HHZS, a middleware system that bridges an LSM-tree KV store with hybrid zoned storage devices based on hints. HHZS leverages hints issued by the flushing, compaction, and caching operations of the LSM-tree KV store to manage KV objects in placement, migration, and caching in hybrid ZNS SSD and HM-SMR HDD zoned storage. Experiments show that our HHZS prototype, when running on real ZNS SSD and HM-SMR HDD devices, achieves the highest throughput compared with all baselines under various settings.

연구 동기 및 목표

• ZNS SSD와 HM-SMR HDD를 사용하는 하이브리드 영역 기반 스토리지 환경에서 LSM-트리 기반 키-값 스토리지의 성능 및 효율성 문제를 해결한다.
• 번역 오버헤드와 쓰레기 수거 간섭을 유발하는 전통적인 블록 기반 스토리지 인터페이스의 한계를 극복한다.
• 플러시, 컴팩션, 캐싱 작업에서 유도되는 애플리케이션 수준의 힌트를 활용하여 하이브리드 영역 기반 스토리지에서 데이터 배치 및 이동에 대한 세밀한 호스트 수준 제어를 가능하게 한다.
• LSM-트리의 의미 체계를 영역 기반 스토리지 특성과 일치시켜 통합 설계를 통해 하이브리드 영역 환경에서 처리량을 최적화하고 꼬리 지연(latency)을 감소시킨다.
• 힌트 기반 데이터 관리가 하이브리드 영역 기반 스토리지 워크로드에서 자동화 또는 정적 배치 방식보다 현저히 뛰어난 성능을 발휘함을 입증한다.

제안 방법

• LSM-트리 기반 키-값 스토리지(RocksDB)와 ZNS SSD 및 HM-SMR HDD 하이브리드 스토리지 간의 인터페이스를 연결하는 미들웨어 레이어인 HHZS를 제안한다.
• LSM-트리의 플러시 및 컴팩션 작업에서 유도된 쓰기 수명 힌트를 활용하여 저수준 데이터인 SSTables를 SSD 영역에 배치함으로써 쓰기 증폭을 최소화한다.
• 레이트 제한 기반의 워크로드 인지 이동 기법을 도입하여 액세스 패턴에 따라 SSTables를 SSD와 HDD 간에 동적으로 이동시킴으로써 프론트엔드 I/O에 대한 간섭을 줄인다.
• 자주 액세스되는 데이터 블록을 SSD에 유지하기 위해 애플리케이션 힌트 기반 캐싱을 적용함으로써 읽기 성능과 히트 비율을 향상시킨다.
• 영역 인식 파일 시스템인 ZenFS와 통합하여 영역 인터페이스를 노출하고 영역 수명 주기 운영(예: 영역 리셋, 순차 쓰기 전용 쓰기)을 관리한다.
• LSM-트리의 내부 운영과 기반 스토리지 레이어 간의 조율을 가능하게 하는 힌트 기반 데이터 관리 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 LSM-트리 운영에서 유도되는 애플리케이션 힌트는 하이브리드 영역 기반 스토리지(ZNS SSD 및 HM-SMR HDD)에서 데이터 배치를 효과적으로 관리하는 데 어떻게 활용될 수 있는가?
• RQ2 SSD와 HDD 간의 동적이고 워크로드 인지 데이터 이동이 하이브리드 영역 기반 스토리지에서 성능과 꼬리 지연에 미치는 영향은 어떠한가?
• RQ3 애플리케이션 힌트 기반 캐싱은 쓰기 증폭을 증가시키지 않으면서도 하이브리드 영역 기반 스토리지에서 읽기 성능을 향상시킬 수 있는가?
• RQ4 LSM-트리 기반 키-값 스토리지와 영역 기반 스토리지 간의 힌트 기반 통합 설계는 기존의 자동화 또는 정적 배치 방식보다 어떻게 뛰어나게 성능을 발휘하는가?
• RQ5 프론트엔드 I/O에 대한 간섭을 최소화하면서 성능 향상을 달성하기 위한 배경 데이터 이동의 최적 레이트는 얼마인가?

주요 결과

• HHZS는 실제 ZNS SSD와 HM-SMR HDD 하드웨어에서 여섯 가지 YCSB 워크로드에 대해 SpanDB의 자동화된 배치 방식 대비 28.0–69.3% 높은 처리량을 달성한다.
• 이동 레이트가 1 MiB/s에서 64 MiB/s로 증가함에 따라 99.99번째 백분위수 응답 지연이 104% 증가하여, 과도한 이동은 꼬리 지연을 악화시킴을 시사한다.
• HHZS는 보수적인 이동 레이트 4 MiB/s를 설정하여 성능 향상과 간섭 간의 균형을 유지하면서 낮은 꼬리 지연을 유지한다.
• 쓰기 지향적 배치 기법은 저수준 SSTables를 위한 SSD 영역을 효과적으로 확보함으로써 쓰기 증폭을 감소시키고 쓰기 처리량을 향상시킨다.
• 워크로드 인지 이동은 핫 SSTables를 HDD에서 SSD로 동적으로 이동시켜 읽기 효율을 향상시키며 과도한 I/O 간섭을 방지한다.
• 애플리케이션 힌트 기반 캐싱은 자주 액세스되는 데이터 블록을 빠른 SSD 스토리지에 유지함으로써 읽기 히트 비율을 현저히 향상시킨다.