[論文レビュー] Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications

Ioan Raicu, Yong Zhao+2 more|ArXiv.org|Aug 26, 2008

Distributed and Parallel Computing Systems参考文献 35被引用数 5

ひとこと要約

本論文では、オンデマンドでのデータレプリケーション、キャッシュ、データロケーションに配慮したスケジューリングを組み合わせることで、動的リソースプロビジョニングと知能的なデータ集約ワークロードスケジューリングを実現するフレームワーク「Data Diffusion」を提案する。本手法は、天文学のワークトレースベンチマーク上で妥当性が確認されたデータ拡散モデルを用い、変動するワークロード下でもリソースの利用効率とスループットを著しく向上させ、従来手法と比較してパフォーマンスインデックスが最大34倍、応答時間が506倍以上高速化された。

ABSTRACT

Data intensive applications often involve the analysis of large datasets that require large amounts of compute and storage resources. While dedicated compute and/or storage farms offer good task/data throughput, they suffer low resource utilization problem under varying workloads conditions. If we instead move such data to distributed computing resources, then we incur expensive data transfer cost. In this paper, we propose a data diffusion approach that combines dynamic resource provisioning, on-demand data replication and caching, and data locality-aware scheduling to achieve improved resource efficiency under varying workloads. We define an abstract "data diffusion model" that takes into consideration the workload characteristics, data accessing cost, application throughput and resource utilization; we validate the model using a real-world large-scale astronomy application. Our results show that data diffusion can increase the performance index by as much as 34X, and improve application response time by over 506X, while achieving near-optimal throughputs and execution times.

研究の動機と目的

• 変動するワークロード下での専用コンピューティング／ストレージファームにおけるリソース利用効率の低さを是正すること。
• 大規模データセットを分散コンピューティングリソースに移動させる際の高いデータ転送コストを低減すること。
• 知能的なスケジューリングと動的リソース管理を通じて、データ集約型科学的アプリケーションのスループットと実行効率を向上させること。
• ワークロード特性、データアクセスコスト、リソース利用効率をバランスさせるデータ拡散モデルの開発と妥当性検証。
• 特に天文学分野において、実世界のデータ集約型アプリケーションで顕著なパフォーマンス向上を実証すること。

提案手法

• スケジューリング意思決定を支援するため、ワークロードのダイナミクス、データアクセスコスト、リソース利用効率を抽象化したデータ拡散モデルを提案する。
• ワークロードの需要に応じてリアルタイムで計算リソースをスケーリングする動的リソースプロビジョニングを導入する。
• データを計算に近い場所に配置することで、データ転送オーバーヘッドを最小限に抑えるため、オンデマンドでのデータレプリケーションとキャッシュを採用する。
• 必要なデータが既に存在するノード上でタスクを優先して実行するデータロケーションに配慮したスケジューリングを実装する。
• これらの要素を統合したランタイムシステムを構築し、ワークロードの変動とデータアクセスパターンに適応可能にする。
• 大規模なデータ処理ワークロードを有する実世界の天文学アプリケーションを用いて、モデルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 変動するワークロード下でのデータ集約型アプリケーションにおけるリソース利用効率は、どのように向上できるか？
• RQ2 動的リソースプロビジョニングとデータに配慮したスケジューリングは、どれほどデータ転送コストを低減できるか？
• RQ3 統合されたモデルは、分散データ処理において、データアクセスコスト、スループット、リソース利用効率を効果的にバランスできるか？
• RQ4 データ拡散を用いることで、実世界のデータ集約型ワークロードでどの程度のパフォーランス向上が達成可能か？
• RQ5 応答時間とスループットの観点から、従来の専用ファームやデータ移動アプローチと比較して、データ拡散はどのように差をつけるか？

主な発見

• Data Diffusionは、ベースライン手法と比較してパフォーマンスインデックスを最大34倍向上させた。
• アプリケーションの応答時間が506倍以上改善され、顕著なパフォーマンス向上が実証された。
• 変動するワークロード下でも、アプリケーションのスループットと実行時間がほぼ最適に近づいた。
• 実際の運用において、ワークロードのダイナミクス、データアクセスコスト、リソース利用効率を効果的にバランスするデータ拡散モデルが有効であることが確認された。
• 実世界の天文学アプリケーションでの検証により、提案手法のスケーラビリティと効率性が裏付けられた。
• 動的プロビジョニング、キャッシュ、データに配慮したスケジューリングの組み合わせにより、無駄な待機時間とデータ転送オーバーヘッドが顕著に削減された。