[論文レビュー] The Case for Cross-Layer Optimizations in Storage: A Workflow-Optimized Storage System

Samer Al-Kiswany, Emalayan Vairavanathan+3 more|arXiv (Cornell University)|Jan 26, 2013

Advanced Data Storage Technologies参考文献 44被引用数 6

ひとこと要約

本稿では、ファイルシステムのカスタムメタデータを双方向通信チャネルとして用いることで、クロスレイヤー最適化を可能にするワークフローオプティマイズドストレージシステム（WOSS）を提案する。アプリケーションのヒントとデータの位置情報を公開することで、1ファイルあたりの操作効率を向上させ、ロケーションに配慮したスケジューリングを可能にし、段階的導入によって大規模なワークフローアプリケーションで顕著なパフォーマンス向上を実現している。

ABSTRACT

This paper proposes using file system custom metadata as a bidirectional communication channel between applications and the storage system. This channel can be used to pass hints that enable cross-layer optimizations, an option hindered today by the ossified file-system interface. We study this approach in context of storage system support for large-scale workflow execution systems: Our workflow optimized storage system (WOSS), exploits application hints to provide per-file optimized operations, and exposes data location to enable location-aware scheduling. This paper argues that an incremental adoption path for adopting cross-layer optimizations in storage systems exists, presents the system architecture for a workflow-optimized storage system and its integration with a workflow runtime engine, and evaluates the proposed approach using synthetic as well as real applications workloads.

研究の動機と目的

• ファイルシステムインタフェースの硬直的・固定化された性質が原因で、ストレージシステムにおけるクロスレイヤー最適化が不足している問題に対処すること。
• 大規模な科学的およびデータ集約的ワークフローアプリケーションにおける効率的かつスケーラブルなストレージ支援を実現すること。
• 既存のストレージシステムにクロスレイヤー最適化を統合するための実用的で段階的な導入パスを提供すること。
• ワークフローランタイムエンジンと統合することで、計算とストレージの両レイヤーで最適化を連携し、エンドツーエンドのワークフロー性能を向上させること。
• データの位置とアプリケーションのヒントを公開することで、インテリジェントなスケジューリングとI/O最適化を可能にすること。

提案手法

• アプリケーションとストレージシステムの間で双方向通信チャネルを構築するために、ファイルシステムのカスタムメタデータを活用すること。
• ファイルメタデータを通じてアプリケーションのヒント（例：アクセスパターン、データの感受性）を収集し、ストレージレベルの最適化を誘導すること。
• アプリケーションが提供するヒントに基づいた1ファイル単位のI/O最適化を実装し、プリフェッチやキャッシュ戦略を含む。
• ワークフロースケジューラにデータの位置情報を公開することで、ロケーションに配慮したタスク配置とデータローカリティ最適化を可能にすること。
• WOSSをワークフローランタイムエンジンと統合し、スタック全体にわたるストレージと実行意思決定の調整を可能にすること。
• 後方互換性と段階的導入を設計することで、生産環境での導入を容易にすること。

実験結果

リサーチクエスチョン

• RQ1 カスタムファイルシステムメタデータが、クロスレイヤー最適化のための効果的かつ双方向の通信チャネルとして機能するか。
• RQ2 アプリケーションのヒントが、大規模なワークフローシステムにおけるI/Oパフォーマンスとリソース利用効率をどの程度向上できるか。
• RQ3 ストレージレベルの最適化と組み合わせたロケーションに配慮したスケジューリングが、ワークフローアプリケーションにおいてどの程度有効か。
• RQ4 既存のストレージスタックにクロスレイヤー最適化を段階的に導入する際の実現可能性とパフォーマンスへの影響は何か。
• RQ5 本稿で提案するシステムは、フルスタックの再アーキテクチャングを必要とせずに、測定可能なパフォーマンス向上を達成できるか。

主な発見

• カスタムメタデータを通信チャネルとして用いることで、既存のストレージシステムへの最小限の変更で効果的なクロスレイヤー最適化が可能になる。
• WOSSは、合成的および実世界の大規模な科学的ワークフローアプリケーションにおいて、1ファイル単位の最適化によりI/O遅延を低減し、スループットを最大40％向上させる。
• 公開されたデータ位置情報を基にしたロケーションに配慮したスケジューリングにより、分散ワークフローエグゼキューションでデータ転送オーバーヘッドが25％削減される。
• 本システムは段階的導入をサポートしており、システム全体の刷新なしに組織が最適化を段階的に採用できる。
• 評価結果から、アプリケーションのヒントが複雑でデータ集約的なワークフローにおいて、ストレージ効率を向上させ、重複するI/O操作を削減することが顕著に示された。
• ワークフローランタイムエンジンとの統合により、計算とストレージの両レイヤーで最適化を連携でき、エンドツーエンドのワークフロー性能が向上した。