[論文レビュー] Fragmentation in Large Object Repositories

Russell Sears, Catharine van Ingen|arXiv (Cornell University)|Dec 21, 2006

Advanced Data Storage Technologies参考文献 20被引用数 8

ひとこと要約

この論文は、get/putインタフェースに依存するスケーラブルなオブジェクトストアおよびマルチメディアリポジトリにおける大規模オブジェクトリポジトリの断片化を調査している。SQL ServerとNTFSを比較した結果、オブジェクトサイズが256KB〜1MBを超えると断片化が性能を著しく低下させることを明らかにした。NTFSは空き領域の管理が優れているため、SQL Serverを上回る性能を示した。研究では、オブジェクトサイズの均一性と書き込みリクエストサイズが断片化に顕著に影響することを明らかにした。これは、単純なインタフェースの変更によってストレージの予測可能性が向上し、保守作業が軽減され得ることを示唆している。

ABSTRACT

Fragmentation leads to unpredictable and degraded application performance. While these problems have been studied in detail for desktop filesystem workloads, this study examines newer systems such as scalable object stores and multimedia repositories. Such systems use a get/put interface to store objects. In principle, databases and filesystems can support such applications efficiently, allowing system designers to focus on complexity, deployment cost and manageability. Although theoretical work proves that certain storage policies behave optimally for some workloads, these policies often behave poorly in practice. Most storage benchmarks focus on short-term behavior or do not measure fragmentation. We compare SQL Server to NTFS and find that fragmentation dominates performance when object sizes exceed 256KB-1MB. NTFS handles fragmentation better than SQL Server. Although the performance curves will vary with other systems and workloads, we expect the same interactions between fragmentation and free space to apply. It is well-known that fragmentation is related to the percentage free space. We found that the ratio of free space to object size also impacts performance. Surprisingly, in both systems, storing objects of a single size causes fragmentation, and changing the size of write requests affects fragmentation. These problems could be addressed with simple changes to the filesystem and database interfaces. It is our hope that an improved understanding of fragmentation will lead to predictable storage systems that require less maintenance after deployment.

研究の動機と目的

• 現代のストレージインタフェースを用いた大規模オブジェクトリポジトリにおける断片化が性能に与える影響を理解すること。
• データベースおよびファイルシステムにおけるオブジェクトサイズ、空き領域比率、書き込みリクエストサイズが断片化に与える影響を評価すること。
• 断片化を低減し、システムの予測可能性を向上させるために、実用的なインタフェースレベルの変更を同定すること。
• さまざまなワークロードおよびオブジェクト特性下でのSQL ServerとNTFSの性能を比較すること。

提案手法

• SQL ServerおよびNTFSの両方でget/putインタフェースを用いたオブジェクトストレージワークロードのベンチマーク。
• オブジェクトサイズを小〜大（最大1MB）に変化させ、断片化の影響に注目して性能劣化を測定。
• 空き領域パーセンテージとオブジェクトサイズ比の関係を分析し、断片化の影響を評価。
• 書き込みリクエストサイズとオブジェクトサイズを一様に変化させ、断片化挙動の変化を観察。
• 制御された実験により、I/O性能に与えるオブジェクトサイズと空き領域の影響を分離して分析。
• 長期間にわたる性能曲線の比較により、持続的ワークロード下でのシステム固有の挙動を同定。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトサイズは、大規模オブジェクトリポジトリにおける断片化と性能にどのように影響するか？
• RQ2 空き領域とオブジェクトサイズの比は、断片化に起因する性能劣化においてどのような役割を果たすか？
• RQ3 SQL ServerやNTFSのような異なるストレージシステムは、さまざまなワークロード下で断片化をどのように処理するか？
• RQ4 オブジェクトサイズや書き込みリクエストサイズを一様にすることで、断片化がどの程度悪化するか？
• RQ5 単純なインタフェースの変更によって断片化を低減し、システムの予測可能性を向上させられるか？

主な発見

• SQL ServerおよびNTFSの両方において、オブジェクトサイズが256KB〜1MBを超えると、断片化が性能劣化の主因となる。
• NTFSは特にオブジェクトサイズと空き領域比率の変動が大きい状況下でも、SQL Serverよりも断片化を効果的に処理している。
• 同じサイズのオブジェクトを格納しても、混合ワークロードが存在しない状況でも顕著な断片化が生じる。
• 書き込みリクエストサイズの変更が断片化レベルに直接影響することから、インタフェースレベルでの感受性が示された。
• 空き領域比率とオブジェクトサイズ比の比が、単なる空き領域パーセンテージを上回る、断片化に与える影響の重要な要因である。
• ファイルシステムおよびデータベースインタフェースの単純な変更により、断片化と保守オーバーヘッドを顕著に低減できる。