[논문 리뷰] Key-Value Stores on Flash Storage Devices: A Survey

Krijn Doekemeijer, Animesh Trivedi|arXiv (Cornell University)|2022. 05. 11.

Advanced Data Storage Technologies인용 수 4

한 줄 요약

이 종합 검토는 플래시 스토리지에 최적화된 키-값 스토어에 대한 10년간의 연구를 종합적으로 분석하며, 왈쓰 암플리피케이션, 웨어 레벨링, 비대칭 I/O와 같은 플래시 특성으로 인해 필수적인 아키텍처적 변화가 필요하다고 분석한다. 핵심 설계 상충관계를 규명하고 플래시 최적화 키-값 시스템의 향후 추세를 예측한다.

ABSTRACT

Key-value stores (KV) have become one of the main components of the modern storage and data processing system stack. With the increasing need for timely data analysis, performance becomes more and more critical. In the past, these stores were frequently optimised to run on HDD and DRAM devices. However, the last decade saw an increased interest in the use of flash devices because of their attractive properties. Flash is cheaper than DRAM and yet has a lower latency and higher throughput than HDDs. This literature survey aims to highlight the changes proposed in the last decade to optimise key-value stores for flash devices and predict what role these devices might play for key-value stores in the future.

연구 동기 및 목표

• 지난 10년간 플래시 스토리지의 고유한 특성—저지연, 비대칭 I/O, 제한된 쓰기 내구성 등이 키-값 스토어 아키텍처 설계에 어떻게 영향을 미쳤는지 분석하기 위해.
• 데이터 구조, 스토리지 인터페이스, 시스템 수준 소프트웨어 기법을 포함한 플래시 특화 최적화 기법을 식별하고 분류하기 위해.
• 플래시 최적화 키-값 스토어에서 성능, 내구성, 자원 오버헤드 간의 상충관계 평가하기 위해.
• 플래시 스토리지가 키-값 스토어 워크로드에서 어떻게 진화해왔는지 탐색하기 위해, 주요 스토리지에서 캐시 및 서머리 스토리지로의 역할 변화를 포함하여.
• 플래시 기반 키-값 스토어의 열린 연구 과제와 향후 방향성 규명하기 위해, 벤치마킹, 넓은 데이터 생태계와의 통합, 신규 플래시 기술 지원을 포함하여.

제안 방법

• 최근 10년간 플래시 스토리지와 키-값 스토어에 관한 학술 문헌을 체계적으로 조사하여, 플래시 특화 제약 조건에 대응하는 최적화 전략에 집중한다.
• 데이터 구조(예: LSM-tree, B-tree, 해시 테이블 등) 기반으로 키-값 스토어 아키텍처를 분류하고, 플래시 I/O 패턴과 웨어 제약에 대한 적응 방식을 분석한다.
• 키-값 스토어와 플래시 장치 간의 커뮤니케이션 레이어 분석, NVMe, FTL, 및 호스트 관리 SSD(예: ZNS, OCSSD) 포함.
• I/O 및 CPU 오버헤드를 줄이기 위한 소프트웨어 수준 최적화 기법 평가, 예: 쓰기 우선 로깅, 값 로깅, 메모리 매핑.
• 주요 플래시 특화 문제 해결 기법 조사: 쓰기 암플리피케이션, 읽기 암플리피케이션, 공간 암플리피케이션, 가비지 컬렉션 오버헤드.
• 신규 플래시 기술(예: ZNS, QLC, SCM)의 역할 평가 및 향후 키-값 스토어 설계에 미치는 영향 분석.

실험 결과

연구 질문

• RQ1 다양한 워크로드와 시스템에서 키-값 스토어 배포에 있어 현재 플래시 스토리지의 역할은 무엇인가?
• RQ2 지난 10년간 플래시 스토리지 특성에 대응해 키-값 스토어 아키텍처는 어떻게 진화해왔는가?
• RQ3 플래시 스토리지에 키-값 스토어를 구현할 때 주요 과제는 무엇이며, 어떤 최적화 전략이 효과적으로 이를 완화하는가?
• RQ4 플래시 스토리지가 향후 키-값 스토어 설계와 성능에 어떻게 계속 영향을 미칠 것인가?

주요 결과

• 플래시 스토리지가 데이터 센터, 게임 서비스, 웹 애플리케이션 등에서 비용, 성능, 내구성의 균형을 고려해 주로 사용되는 주요 스토리지 매체로 자리 잡았다.
• 키-값 스토어는 플래시 스토리지에 대응해 상당한 아키텍처적 적응을 이룩했으며, 쓰기 암플리피케이션 감소 및 쓰기 스루풋 향상을 위해 LSM-tree의 광범위한 도입과 값 로깅의 도입이 두드러진다.
• 쓰기 암플리피케이션, 읽기 암플리피케이션, 공간 암플리피케이션, 가비지 컬렉션 오버헤드 간의 상충관계 균형을 맞추는 데 여전히 주요 과제가 존재하며, 이 모든 문제를 동시에 해결하는 단일 솔루션은 존재하지 않는다.
• 플래시 특화 최적화 기법으로는 호스트 관리 FTL(예: ZNS SSD) 및 NVMe 인식 데이터 구조가 점점 더 생산 환경에 통합되어 CPU 및 I/O 오버헤드를 감소시키고 있다.
• 플래시 최적화 키-값 스토어의 표준 벤치마킹 및 평가 프레임워크를 정립할 필요가 있으며, 이를 통해 투자 결정을 더 잘 내릴 수 있도록 지원할 필요가 있다.
• 신규 플래시 기술인 QLC, ZNS, 스토리지 클래스 메모리(SCM)는 향후 키-값 스토어 설계에 더 큰 영향을 미칠 것으로 기대되며, 새로운 성능 및 비용 상충관계를 가능하게 할 것이다.