[論文レビュー] stdchk: A Checkpoint Storage System for Desktop Grid Computing

Samer Al Kiswany, Matei Ripeanu+2 more|arXiv (Cornell University)|Jun 25, 2007

Advanced Data Storage Technologies参考文献 21被引用数 5

ひとこと要約

本稿では、参加するデスクトップの使用されていないディスク容量を活用して、高性能でフェイルセーフなチェックポイントを提供する低コストのチェックポイントストレージシステム、stdchkを提案する。従来のファイルシステムインタフェースを提供し、インクリメンタルチェックポイントとデータ可用性を最適化することで、従来のファイルシステムへの負荷を軽減し、書き込みスループットを向上させ、ストレージおよびネットワークのオーバーヘッドを最小限に抑える。

ABSTRACT

Checkpointing is an indispensable technique to provide fault tolerance for long-running high-throughput applications like those running on desktop grids. This paper argues that a dedicated checkpoint storage system, optimized to operate in these environments, can offer multiple benefits: reduce the load on a traditional file system, offer high-performance through specialization, and, finally, optimize data management by taking into account checkpoint application semantics. Such a storage system can present a unifying abstraction to checkpoint operations, while hiding the fact that there are no dedicated resources to store the checkpoint data. We prototype stdchk, a checkpoint storage system that uses scavenged disk space from participating desktops to build a low-cost storage system, offering a traditional file system interface for easy integration with applications. This paper presents the stdchk architecture, key performance optimizations, support for incremental checkpointing, and increased data availability. Our evaluation confirms that the stdchk approach is viable in a desktop grid setting and offers a low cost storage system with desirable performance characteristics: high write throughput and reduced storage space and network effort to save checkpoint images.

研究の動機と目的

• 長時間にわたるハイパフォーマンスなデスクトップグリッドアプリケーションにおける、効率的なフェイルセーフの増大するニーズに対応する。
• デスクトップグリッド環境における共有ファイルシステムにかかる従来のチェックポイントの性能およびリソースへの負担を軽減する。
• アプリケーションの意味論とデータ管理を最適化する専用の低コストチェックポイントストレージシステムを設計する。
• 専用のストレージリソースの欠如を抽象化し、アプリケーションに対して統合的で使いやすいインタフェースを提供する。
• 知的なチェックポイント管理を通じて、データ可用性を向上させ、ネットワークおよびストレージのオーバーヘッドを低減する。

提案手法

• デスクトップグリッド内のノードから使用されていないディスク容量を集約し、分散型で低コストのストレージプールを形成するチェックポイントストレージシステム、stdchkを設計する。
• 従来のファイルシステムインタフェースを公開することで、コード変更なしに既存のアプリケーションとシームレスに統合できるようにする。
• デスクトップグリッドワークロードの特徴（高い書き込みスループット、バースト型アクセスパターンなど）に特化したパフォーマンス最適化を実装する。
• 変更されたデータブロックのみを追跡・保存することで、インクリメンタルチェックポイントを実現し、ストレージおよびネットワークのオーバーヘッドを低減する。
• バージョニングや保持ポリシーといったチェックポイントの意味論を考慮したデータ管理戦略を適用することで、効率性と可用性を向上させる。
• リモートリソースの信頼性が低い状況でも、データ可用性を向上させるためにレプリケーションおよび冗長性技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 使用されていないデスクトップディスク容量から構築されたチェックポイントストレージシステムは、デスクトップグリッド環境において、妥当なパフォーマンスと信頼性を達成できるか？
• RQ2 このようなシステムは、従来のチェックポイント手法と比較して、従来のファイルシステムへの負荷をどの程度軽減できるか？
• RQ3 この環境において、インクリメンタルチェックポイントはストレージおよびネットワーク使用量の最小化にどの程度効果的か？
• RQ4 分散型かつ信頼性の低いストレージプール上で、統一的でファイルシステムに似たインタフェースを効果的に抽象化できるか？
• RQ5 チェックポイントにおいて、特化および意味論に配慮したデータ管理を通じて、どの程度のパフォーマンスおよびリソースの節約が達成できるか？

主な発見

• stdchkは、チェックポイントストレージを専用で最適化されたシステムに移管することで、従来のファイルシステムへの負荷を明確に軽減した。
• デスクトップグリッドの特性に特化したパフォーマンス最適化のおかげで、高い書き込みスループットを達成した。
• インクリメンタルチェックポイントは、チェックポイントイメージを保存するために必要なストレージ領域およびネットワーク負荷を顕著に削減した。
• レプリケーションおよび冗長性メカニズムのおかげで、信頼性の低いデスクトップリソースを用いても、データ可用性が向上した。
• プロトタイプは実際のデスクトップグリッド環境で実用性を示し、低コストで高性能なチェックポイントソリューションの実現可能性を確認した。
• 従来のファイルシステムインタフェースのおかげで、既存のアプリケーションとの透明な統合が可能となり、導入の障壁が最小限に抑えられた。