[논문 리뷰] Multi-Tier Buffer Management and Storage System Design for Non-Volatile Memory

Joy Arulraj, Andrew Pavlo외 1명|arXiv (Cornell University)|2019. 01. 30.

Advanced Data Storage Technologies참고 문헌 41인용 수 18

한 줄 요약

이 논문은 작업하중 및 장치 특성에 따라 DRAM, NVM, SSD 간에 데이터 마이그레이션 정책을 동적으로 적응하는 NVM 인식 다중계층 버퍼 매니저 및 스토리지 시스템 설계 방법을 제안한다. 적응형 데이터 마이그레이션 메커니즘과 자동 권장 시스템을 도입하여 수동 튜닝 없이도 트랜잭션 및 분석 워크로드 전반에서 처리량을 향상시키고 시스템 비용을 절감한다.

ABSTRACT

The design of the buffer manager in database management systems (DBMSs) is influenced by the performance characteristics of volatile memory (DRAM) and non-volatile storage (e.g., SSD). The key design assumptions have been that the data must be migrated to DRAM for the DBMS to operate on it and that storage is orders of magnitude slower than DRAM. But the arrival of new non-volatile memory (NVM) technologies that are nearly as fast as DRAM invalidates these previous assumptions. This paper presents techniques for managing and designing a multi-tier storage hierarchy comprising of DRAM, NVM, and SSD. Our main technical contributions are a multi-tier buffer manager and a storage system designer that leverage the characteristics of NVM. We propose a set of optimizations for maximizing the utility of data migration between different devices in the storage hierarchy. We demonstrate that these optimizations have to be tailored based on device and workload characteristics. Given this, we present a technique for adapting these optimizations to achieve a near-optimal buffer management policy for an arbitrary workload and storage hierarchy without requiring any manual tuning. We finally present a recommendation system for designing a multi-tier storage hierarchy for a target workload and system cost budget. Our results show that the NVM-aware buffer manager and storage system designer improve throughput and reduce system cost across different transaction and analytical processing workloads.

연구 동기 및 목표

• 기존 버퍼 매니저가 DRAM이 데이터 처리 및 저장에 필수적이라고 가정하고 저장소는 DRAM보다 수 개의 주기 빠르게 느리다고 보는 한계를 해결하기 위해.
• 워크로드 및 장치 특성에 기반해 성능과 비용을 최적화하는 DRAM, NVM, SSD로 구성된 다중계층 스토리지 계층을 설계하기 위해.
• 임의의 워크로드 및 스토리지 구성에 대해 수동 튜닝 없이 최적의 정책을 자동으로 선택할 수 있는 적응형 데이터 마이그레이션 메커니즘을 개발하기 위해.
• 제한된 예산 내에서 목표 워크로드에 최적화된 비용 효율적인 다중계층 스토리지 시스템을 설계하기 위한 권장 시스템을 만들기 위해.

제안 방법

• 기존 기법들인 급속 DRAM 마이그레이션 및 DRAM 회피를 일반화하는 NVM 인식 데이터 마이그레이션 최적화 기법의 분류 체계를 제안한다.
• 워크로드 및 장치 I/O 특성에 기반해 실시간으로 버퍼 관리 정책을 조정하는 적응형 데이터 마이그레이션 메커니즘을 도입한다.
• 접근 패턴, 지연 시간, 쓰기 내구 수명을 모니터링하는 피드백 기반 적응 엔진을 활용해 최적의 마이그레이션 전략을 선택한다.
• 워크로드 프로파일 및 비용 제약 조건을 기반으로 DRAM, NVM, SSD의 최적 하드웨어 구성으로 매핑하는 스토리지 시스템 추천기 설계한다.
• 워크로드 특성에 맞는 프로파일링을 활용해 데이터 마이그레이션 정책 선택을 이끌며, 예를 들어 지연적/급속적 DRAM 승격 전략을 포함한다.
• 성능 모델링 및 비용 분석을 활용해 처리량과 시스템 비용을 균형 잡은 스토리지 계층을 권장한다.

실험 결과

연구 질문

• RQ1 DRAM, NVM, SSD로 구성된 다중계층 스토리지 계층에서 데이터 마이그레이션 정책을 어떻게 최적화하여 성능을 극대화하고 비용을 최소화할 수 있는가?
• RQ2 NVM 존재 하에 최적의 버퍼 관리 정책을 결정하는 핵심 요소는 무엇이며, 이는 워크로드 및 장치 특성에 따라 어떻게 변화하는가?
• RQ3 자동화된 적응 메커니즘이 다양한 워크로드 및 스토리지 구성에서 수동 튜닝 없이 근사 최적의 버퍼 관리 성능을 달성할 수 있는가?
• RQ4 어떤 워크로드와 예산 조건이 주어졌을 때, 스토리지 시스템 설계자가 최적의 다중계층 하드웨어 구성 권장을 어떻게 내릴 수 있는가?

주요 결과

• NVM 인식 버퍼 매니저는 DRAM, NVM, SSD 간의 지능적인 데이터 마이그레이션 관리로 트랜잭션 및 분석 워크로드 전반에서 시스템 처리량을 향상시킨다.
• 적응형 데이터 마이그레이션 메커니즘은 실시간 워크로드 및 장치 특성에 기반해 정책을 동적으로 선택함으로써 수동 튜닝 없이도 근사 최적의 성능을 달성한다.
• 스토리지 시스템 추천기는 주어진 예산 내에서 성능 목표를 충족하는 비용 효율적인 하드웨어 구성 조합을 성공적으로 식별한다.
• 제안된 시스템은 전통적인 버퍼 관리 방법에 비해 시스템 비용을 절감하면서도 처리량을 유지하거나 향상시킨다.
• 결과는 성능 향상이 워크로드에 따라 달라지며, 혼합 접근 패턴과 높은 I/O 변동성을 보이는 워크로드에서 더 큰 향상이 관찰됨을 시사한다.