[論文レビュー] Noncontiguous I/O through PVFS

Avery Ching, Alok Choudhary+3 more|ArXiv.org|Jul 29, 2002

Advanced Data Storage Technologies参考文献 10被引用数 5

ひとこと要約

本稿では、並列仮想ファイルシステム（PVFS）に実装されたネイティブで非連続I/Oを扱う機構「list I/O」を提案する。この機構により、高性能コンピューティングにおけるI/Oパフォーマンスが向上する。非連続I/O操作のファイルシステムレベルでの処理を最適化することで、オーバーヘッドが低減され、さまざまなワークロードにおいて従来の非連続I/O手法を上回る性能を発揮し、実世界の科学的アプリケーションのパフォーマンスが顕著に向上する。

ABSTRACT

With the tremendous advances in processor and memory technology, I/O has risen to become the bottleneck in high-performance computing for many applications. The development of parallel file systems has helped to ease the performance gap, but I/O still remains an area needing significant performance improvement. Research has found that noncontiguous I/O access patterns in scientific applications combined with current file system methods to perform these accesses lead to unacceptable performance for large data sets. To enhance performance of noncontiguous I/O we have created list I/O, a native version of noncontiguous I/O. We have used the Parallel Virtual File System (PVFS) to implement our ideas. Our research and experimentation shows that list I/O outperforms current noncontiguous I/O access methods in most I/O situations and can substantially enhance the performance of real-world scientific applications.

研究の動機と目的

• 科学的アプリケーションにおける非連続I/Oアクセスパターンによって引き起こされる増大するI/Oボトルネックを解消すること。
• 大規模データセットにおける散在I/O操作を処理する際の、従来のファイルシステム手法のパフォーマンス制限を克服すること。
• PVFSフレームワーク内にネイティブな非連続I/Oメカニズム「list I/O」を設計・実装し、I/O効率を向上させること。
• さまざまなI/Oワークロードおよびシステム構成において、list I/Oのパフォーマンスを従来の非連続I/O技術と比較して評価すること。

提案手法

• 著者らは、PVFS内にネイティブなI/Oインターフェースとしてlist I/Oを設計し、アプリケーションが複数の非連続I/Oリクエストを1つの操作として提示できるようにした。
• list I/Oは、散在I/Oリクエストを1つのシステムコールに集約することで、個別のシステムコールと比較してカーネルおよびファイルシステムのオーバーヘッドを低減する。
• PVFSのアーキテクチャを活用して、複数のストレージサーバーにわたるI/Oリクエストを効率的に管理し、遅延を最小限に抑え、帯域幅の利用を最大化する。
• リクエストリスト構造を用いて非連続領域に関するメタデータを保持することで、効率的なスケジューリングとデータ取得を可能にする。
• I/Oスループットと遅延を測定するために、合成ベンチマークと実際の科学的アプリケーションを用いてパフォーマンス評価を実施した。
• さまざまなI/Oパターン、サイズ、並列プロセス数を想定したクラスタ環境で、アプローチの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 PVFSのような並列ファイルシステムにおいて、ネイティブな非連続I/Oメカニズムが、従来のシステムコールベースのアプローチと比較して、I/Oオーバーヘッドを顕著に低減できるか。
• RQ2 list I/Oは、小規模および大規模な非連続転送を含む多様なI/Oアクセスパターンにおいて、どのように性能を発揮するか。
• RQ3 list I/Oは、不規則なI/Oワークロードを有する実世界の科学的アプリケーションのパフォーマンスをどの程度向上させるか。
• RQ4 I/Oリクエスト数および並列プロセス数の増加に伴い、list I/Oのスケーラビリティはどの程度向上するか。

主な発見

• list I/Oは、不規則なアクセスパターンを有するアプリケーションにおいて、従来の非連続I/O手法を上回る性能を発揮する。
• システムコールのオーバーヘッドが支配的となる小規模および中規模の非連続I/Oリクエストにおいて、性能向上が最も顕著である。
• システムコールの数を低減し、リクエストのバッチ処理を最適化することで、list I/OはI/O遅延を低減し、スループットを向上させる。
• 実世界の科学的アプリケーションでは、list I/Oを用いることで測定可能なパフォーマンス向上が確認され、生産環境におけるHPCにおける実用的利点が裏付けられた。
• I/Oリクエスト数および並列プロセス数の増加に伴っても、list I/Oは良好なスケーラビリティを示し、一貫したパフォーマンス向上を維持する。