[논문 리뷰] Analyzing IO Amplification in Linux File Systems

Jayashree Mohan, Rohan Kadekodi외 1명|arXiv (Cornell University)|2017. 07. 26.

Advanced Data Storage Technologies참고 문헌 18인용 수 8

한 줄 요약

이 논문은 리눅스 파일 시스템 다섯 종류(ext2, ext4, XFS, btrfs, F2FS)에서 입출력 증폭(I/O amplification)—읽기, 쓰기, 공간 증폭—에 대한 첫 번째 체계적 분석을 제시한다. 다양한 작업에서 상당한 증폭이 발생하며, 쓰기 증폭은 2–32×에 이르며, rename과 같은 메타데이터 작업은 최대 648 KB의 I/O를 유발한다. 이에 따라 CReWS 추측을 제안한다: 일반 목적 파일 시스템에서 강력한 크래시 일관성은 낮은 입출력 및 공간 증폭과 본질적으로 충돌한다.

ABSTRACT

We present the first systematic analysis of read, write, and space amplification in Linux file systems. While many researchers are tackling write amplification in key-value stores, IO amplification in file systems has been largely unexplored. We analyze data and metadata operations on five widely-used Linux file systems: ext2, ext4, XFS, btrfs, and F2FS. We find that data operations result in significant write amplification (2-32X) and that metadata operations have a large IO cost. For example, a single rename requires 648 KB write IO in btrfs. We also find that small random reads result in read amplification of 2-13X. Based on these observations, we present the CReWS conjecture about the relationship between IO amplification, consistency, and storage space utilization. We hope this paper spurs people to design future file systems with less IO amplification, especially for non-volatile memory technologies.

연구 동기 및 목표

• 광범위하게 사용되는 리눅스 파일 시스템들 간에 읽기, 쓰기, 공간 증폭을 체계적으로 분석하기.
• 파일 쓰기, 첨부, 이름 변경과 같은 일반적인 데이터 및 메타데이터 작업의 입출력 비용을 정량화하기.
• 현대 파일 시스템에서 입출력 증폭의 근본 원인, 특히 크래시 일관성 메커니즘으로 인한 원인을 특정하기.
• 강력한 크래시 일관성을 갖는 일반 목적 파일 시스템은 본질적으로 낮은 입출력 및 공간 증폭과 충돌한다는 CReWS 추측을 제안하기.
• 일관성, 효율성, 스토리지 면적 간의 상충관계를 부각시켜, 비버니시 메모리용 향후 파일 시스템 설계를 이원하기

제안 방법

• 블록 I/O 트레이스를 캡처하고 분석하기 위해 blktrace, dstat, iostat를 사용.
• 총 스토리지 쓰기 I/O와 사용자 데이터 쓰기의 비율을 통해 쓰기 증폭을 측정.
• 총 읽기 I/O와 사용자 데이터 요청량의 비율을 통해 읽기 증폭을 측정.
• 총 스토리지 소비량(데이터 + 메타데이터)과 사용자 데이터 쓰기의 비율을 통해 공간 증폭을 측정.
• 개별 작업(예: rename, write, append)에 대한 마이크로 벤치마크와 매크로 벤치마크(Linux 커널 컴파일, Filebench varmail)를 수행.
• 성능 비용을 분리하기 위해 I/O를 동기식(fsycn)과 지연 배경 체크포인팅으로 분류.

실험 결과

연구 질문

• RQ1 데이터 작업(예: 덮어쓰기 또는 첨부) 중 일반 리눅스 파일 시스템에서 쓰기 증폭은 어느 정도인가?
• RQ2 파일 이름 변경, 디렉터리 생성, 파일 업데이트와 같은 메타데이터 작업은 얼마나 많은 I/O를 유발하는가?
• RQ3 저널링 및 복사-오퍼-라이트와 같은 크래시 일관성 메커니즘이 입출력 및 공간 증폭에 어느 정도 기여하는가?
• RQ4 일반 목적 파일 시스템이 강력한 크래시 일관성을 확보하면서도 읽기, 쓰기, 공간 증폭을 동시에 최소화할 수 있는가?
• RQ5 F2FS와 btrfs와 같은 현대 파일 시스템이 다양한 워크로드에서 입출력 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 모든 파일 시스템에서 데이터 작업 중 쓰기 증폭은 2×에서 32×에 이르며, btrfs에서 가장 높은 값을 보였다.
• 작은 랜덤 읽기 조건에서도 따뜻한 캐시 상태에서도 읽기 증폭이 2×에서 13×에 이르며, 비효율적인 입출력 패턴을 시사한다.
• 단일 파일 이름 변경 작업이 btrfs에서 최대 648 KB의 쓰기 I/O를 유발할 수 있으며, 이는 극단적인 메타데이터 입출력 비용을 보여준다.
• 메타데이터 저널링을 모두 사용하고도 XFS는 ext4보다 파일 업데이트에서 쓰기 효율성이 뛰어나, 설계적 차이가 중요하다는 것을 시사한다.
• F2HS는 둘 다 로그-구조 파일 시스템이지만, 모든 워크로드에서 btrfs보다 입출력 효율성이 뛰어나다.
• 공간 증폭은 2×에서 30×에 이르며, 주로 메타데이터 구조와 저널링, 복사-오퍼-라이트와 같은 크래시 일관성 메커니즘으로 인한 것이다.