[論文レビュー] Analyzing IO Amplification in Linux File Systems

Jayashree Mohan, Rohan Kadekodi+1 more|arXiv (Cornell University)|Jul 26, 2017

Advanced Data Storage Technologies参考文献 18被引用数 8

ひとこと要約

本論文は、Linuxファイルシステム5種（ext2, ext4, XFS, btrfs, F2FS）におけるI/Oアンプリフィケーション（読み込み、書き込み、領域アンプリフィケーション）の最初の体系的分析を提示する。操作全体にわたり顕著なアンプリフィケーションが確認され、書き込みアンプリフィケーションは2–32倍に達し、renameなどのメタデータ操作は最大648 KBのI/Oを消費する。これにより、CReWS仮説が提唱される：一般用途のファイルシステムにおける強いクラッシュ整合性は、低I/Oおよび低領域アンプリフィケーションと本質的に矛盾する。

ABSTRACT

We present the first systematic analysis of read, write, and space amplification in Linux file systems. While many researchers are tackling write amplification in key-value stores, IO amplification in file systems has been largely unexplored. We analyze data and metadata operations on five widely-used Linux file systems: ext2, ext4, XFS, btrfs, and F2FS. We find that data operations result in significant write amplification (2-32X) and that metadata operations have a large IO cost. For example, a single rename requires 648 KB write IO in btrfs. We also find that small random reads result in read amplification of 2-13X. Based on these observations, we present the CReWS conjecture about the relationship between IO amplification, consistency, and storage space utilization. We hope this paper spurs people to design future file systems with less IO amplification, especially for non-volatile memory technologies.

研究の動機と目的

• 広く使われているLinuxファイルシステムにおける読み込み、書き込み、領域アンプリフィケーションを体系的に分析すること。
• ファイルの書き込み、追記、リネームなどの一般的なデータおよびメタデータ操作におけるI/Oコストを定量化すること。
• 現代のファイルシステムにおけるI/Oアンプリフィケーションの根本的要因を同定すること、特にクラッシュ整合性メカニズムに起因するものに注目すること。
• CReWS仮説を提唱すること。強力なクラッシュ整合性を備えた一般用途ファイルシステムは、本質的に低I/Oおよび低領域アンプリフィケーションと矛盾するという主張である。
• 今後のファイルシステム設計、特に非揮発性メモリ向けに、整合性、効率性、ストレージ容量のトレードオフを明確にすることによる指針を提供すること。

提案手法

• ブロックI/Oトレースを収集・分析するために、blktrace、dstat、iostatを用いた。
• 書き込みアンプリフィケーションを、合計のストレージ書き込みI/Oとユーザーが書き込んだデータ量の比として測定した。
• 読み込みアンプリフィケーションを、合計の読み込みI/Oとユーザーが要求したデータ量の比として測定した。
• 領域アンプリフィケーションを、合計のストレージ消費量（データ＋メタデータ）とユーザーが書き込んだデータ量の比として測定した。
• 個々の操作（例：rename、write、append）に対するマイクロベンチマークと、マクロベンチマーク（Linuxカーネルのビルド、Filebench varmail）を実施した。
• 同期的（fsync）および遅延バックグラウンドチェックポイント処理に分類して、パフォーマンスコストを分離した。

実験結果

リサーチクエスチョン

• RQ1 上書きや追記などのデータ操作における一般的なLinuxファイルシステムでの書き込みアンプリフィケーションの程度はどの程度か？
• RQ2 ファイルのリネーム、ディレクトリ作成、ファイル更新などのメタデータ操作が、どの程度のI/Oを発生させるか？
• RQ3 ジャーナリングやコピーオンライトなどのクラッシュ整合性メカニズムが、I/Oおよび領域アンプリフィケーションにどの程度寄与しているか？
• RQ4 一般用途のファイルシステムが、強いクラッシュ整合性を確保しつつ、読み込み、書き込み、領域アンプリフィケーションを同時に最小限に抑えることは可能か？
• RQ5 F2FSやbtrfsといった現代のファイルシステムは、多様なワークロード下でI/O効率においてどのように比較されるか？

主な発見

• データ操作における書き込みアンプリフィケーションは、すべてのファイルシステムで2倍から32倍の範囲にのぼり、btrfsが最も高い値を示した。
• 小さなランダム読み込みでも、ウォームキャッシュ状態であっても、読み込みアンプリフィケーションは2倍から13倍に達し、非効率なI/Oパターンを示している。
• 1回のファイルリネーム操作で、btrfsでは最大648 KBの書き込みI/Oが発生するなど、極めて高いメタデータI/Oコストが顕在化した。
• 両者ともメタデータジャーナリングを採用しているが、XFSはファイル更新における書き込み効率でext4を上回っており、設計上の差が顕著に現れている。
• F2FSは、両者ともログ構造ファイルシステムであるにもかかわらず、すべてのワークロードでbtrfsを著しく上回るI/O効率を示した。
• 領域アンプリフィケーションは2倍から30倍にのぼり、主にメタデータ構造およびジャーナリングやコピーオンライトといったクラッシュ整合性メカニズムに起因している。