[논문 리뷰] A Survey on Tiering and Caching in High-Performance Storage Systems

Morteza Hoseinzadeh|arXiv (Cornell University)|2019. 04. 25.

Advanced Data Storage Technologies참고 문헌 49인용 수 10

한 줄 요약

이 종합적 서베이는 고성능 스토리지 시스템에서 캐싱 및 티어링 기법을 포괄적으로 분석하며, SSD와 HDD 사이의 성능 격차를 메우기 위해 비버니시브 메모리(NVM)를 고속 티어로 활용하는 데 초점을 맞춘다. Ziggurat은 동적 임계값과 그룹 이동 기법을 사용해 NVM과 디스크 간에 지능적으로 데이터를 이동시키는 다중 티어 파일 시스템으로, 지연 시간, 대역폭, NVM 활용도를 최적화하여 기업 워크로드에서 높은 확장성과 성능을 달성한다.

ABSTRACT

Although every individual invented storage technology made a big step towards perfection, none of them is spotless. Different data store essentials such as performance, availability, and recovery requirements have not met together in a single economically affordable medium, yet. One of the most influential factors is price. So, there has always been a trade-off between having a desired set of storage choices and the costs. To address this issue, a network of various types of storing media is used to deliver the high performance of expensive devices such as solid state drives and non-volatile memories, along with the high capacity of inexpensive ones like hard disk drives. In software, caching and tiering are long-established concepts for handling file operations and moving data automatically within such a storage network and manage data backup in low-cost media. Intelligently moving data around different devices based on the needs is the key insight for this matter. In this survey, we discuss some recent pieces of research that have been done to improve high-performance storage systems with caching and tiering techniques.

연구 동기 및 목표

• 대규모 데이터 센터에서의 I/O 병목 현상을 해결하기 위해 스토리지 시스템의 성능과 비용 효율성을 향상시키기 위해.
• 특히 다양한 액세스 패턴을 가진 혼합 워크로드를 처리할 때 단지 HDD와 SSD에 의존하는 전통적 스토리지 계층의 한계를 극복하기 위해.
• 3D XPoint와 같은 새로운 비버니시브 메모리(NVM) 기술이 고성능 티어로서 지연 시간을 감소시키고 내구성을 향상시키는 데 잠재력을 지닌다는 것을 탐색하기 위해.
• NVM 활용도를 극대화하면서도 느린 스토리지 티어에서의 랜덤 I/O를 최소화하는 확장 가능하고 효율적이며 적응적인 캐싱 및 티어링 솔루션을 설계하기 위해.
• 액세스 패턴, 쓰기 동작 및 시스템 부하에 기반해 NVM과 디스크 간의 데이터 이동을 동적으로 관리하는 파일 시스템을 개발하기 위해.

제안 방법

• Ziggurat은 응용 프로그램의 쓰기 패턴에 기반한 동적 마이그레이션 임계값을 사용하여 NVM에서 디스크로 데이터를 이동할 시점을 결정한다.
• 냉각도 예측기(또는 coldness predictor)를 활용해 파일 액세스 시퀀스를 분석하고 향후 동기 쓰기 작업을 식별함으로써 냉각 데이터의 조기 이동을 가능하게 한다.
• 데이터 이동은 대규모의 순차적 블록 단위로 수행되어 디스크 대역폭을 최대한 활용하고 랜덤 I/O 오버헤드를 감소시킨다.
• 이동 메타데이터를 추적하기 위해 NVM 내에서 로그 구조의 인오드(inode)를 사용하며, 읽기 중심 워크로드에서는 디스크에서 NVM으로의 역방향 이동을 지원한다.
• Ziggurat은 NOVA의 각 CPU별 스토리지 할당기 기능을 확장하고, 각 CPU별 마이그레이션 및 쓰기 백 스레드를 사용하여 고확장성을 확보한다.
• 이웃한 파일 블록을 큰 이동 단위로 통합하여 향후 I/O 크기와 CPU 캐시 라인 크기와 정렬함으로써 데이터 프리패칭 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모, 데이터 집약적인 워크로드에서 I/O 지연 시간을 줄이기 위해 캐싱 및 티어링 기법을 어떻게 최적화할 수 있는가?
• RQ2 3D XPoint와 같은 새로운 비버니시브 메모리(NVM) 기술이 스토리지 시스템의 성능과 비용 효율성 향상에 어떤 역할을 할 수 있는가?
• RQ3 다양한 액세스 및 쓰기 패턴 하에서 NVM과 디스크 간의 데이터 이동을 어떻게 효율적이고 확장 가능하게 만들 수 있는가?
• RQ4 냉각 데이터와 향후 동기 쓰기 작업을 효과적으로 식별하여 지능적인 티어링 결정을 이끌 수 있는 히우리스틱 또는 예측기 알고리즘은 무엇인가?
• RQ5 동기 쓰기 작업을 수용하기 위해 NVM 공간을 어떻게 완전히 활용할 수 있으며, 느린 스토리지 티어에 가해지는 압력을 줄일 수 있는가?

주요 결과

• Ziggurat은 동기 쓰기 작업을 NVM으로 오프로드함으로써 느린 스토리지 장치의 성능 영향을 최소화하여 I/O 지연 시간을 감소시킨다.
• 대규모 순차적 블록 단위로 이루어지는 그룹 이동은 디스크 대역폭 활용도를 향상시키고, 랜덤 I/O 작업의 오버헤드를 감소시킨다.
• 각 CPU별 스토리지 할당기 및 마이그레이션 스레드를 통해 고확장성을 달성하여 동시 워크로드를 효율적으로 처리한다.
• 응용 프로그램의 쓰기 동작에 기반한 동적 마이그레이션 임계값은 Ziggurat이 데이터 배치를 적응적으로 관리하고 NVM 사용을 최적화하는 데 기여한다.
• 읽기 중심 워크로드 하에서 디스크에서 NVM으로의 역방향 이동은 자주 액세스되는 데이터를 더 빠른 스토리지에 유지함으로써 성능을 향상시킨다.
• Ziggurat의 설계는 NVM 용량을 완전히 활용하여 동기 쓰기 작업을 수용함으로써 고비용의 DRAM 필요성을 줄이고 전체 시스템의 효율성을 향상시킨다.