[論文レビュー] A Checkpoint Storage System for Desktop Grid Computing

Samer Al-Kiswany, Matei Ripeanu+1 more|arXiv (Cornell University)|Jun 25, 2007

Distributed and Parallel Computing Systems被引用数 6

ひとこと要約

本稿では、参加するデスクトップの空きディスク容量を活用して、高性能でフェイルセーフなチェックポイントを提供する低コストなチェックポイントストレージシステム、stdchkを提案する。従来のファイルシステムインタフェースを通じたチェックポイント管理の抽象化と、インクリメンタルセーブおよびデータ可用性の最適化により、stdchkは従来のファイルシステムへの負荷を軽減し、ストレージおよびネットワークのオーバーヘッドを最小限に抑え、分散環境でも高い書き込みスループットを実現する。

ABSTRACT

Abstract — Checkpointing is an indispensable technique to provide fault tolerance for long-running high-throughput applications like those running on desktop grids. This article argues that a checkpoint storage system, optimized to operate in these environments, can offer multiple benefits: reduce the load on a traditional file system, offer high-performance through specialization, and, finally, optimize data management by taking into account checkpoint application semantics. Such a storage system can present a unifying abstraction to checkpoint operations, while hiding the fact that there are no dedicated resources to store the checkpoint data. We prototype stdchk, a checkpoint storage system that uses scavenged disk space from participating desktops to build a low-cost storage system, offering a traditional file system interface for easy integration with applications. This article presents the stdchk architecture, key performance optimizations, and its support for incremental checkpointing and increased data availability. Our evaluation confirms that the stdchk approach is viable in a desktop grid setting and offers a low-cost storage system with desirable performance characteristics: high write throughput as well as reduced storage space and network effort to save checkpoint images. I.

研究の動機と目的

• 長時間実行されるデスクトップグリッドアプリケーションにおけるフェイルセーフ性の課題に対処するため、専用のチェックポイントストレージシステムを設計すること。
• 頻繁なチェックポイント操作によって引き起こされる従来のファイルシステムへのパフォーマンスおよびリソース負荷を軽減すること。
• インクリメンタルチェックポイントやデータ可用性の向上といったアプリケーションの意味論を活用して、データ管理を最適化すること。
• 専用ストレージリソースが存在しない状況において、従来のファイルシステム抽象化を介して統一的で使いやすい統合インタフェースを提供すること。

提案手法

• グリッド内のデスクトップノードから空きディスク容量をプールして、分散型のチェックポイントストレージシステムとしてstdchkを設計すること。
• 既存のアプリケーションやツールとのシームレスな統合を可能にするために、従来のファイルシステムインタフェースを実装すること。
• デスクトップグリッドワークロードの特性に合わせたパフォーマンス最適化を適用すること。具体的には、高い書き込みスループットと効率的なデータレイアウトを実現すること。
• 変更されたデータのみを保存することで、ストレージおよびネットワークのオーバーヘッドを最小限に抑えるインクリメンタルチェックポイントをサポートすること。
• グリッドのストレージノード全体にわたるレプリケーションや分散戦略を用いて、データ可用性を向上させること。
• 下位のデータ配置および取得メカニズムの複雑さを隠蔽することで、分散ストレージの複雑さを抽象化すること。

実験結果

リサーチクエスチョン

• RQ1 空きディスク容量を活用して構築された分散型チェックポイントストレージシステムは、高スルーレットで長時間実行されるアプリケーションを効果的にサポートできるか？
• RQ2 このようなシステムは、ネイティブなチェックポイントと比較して、従来のファイルシステムへの負荷をどの程度軽減できるか？
• RQ3 インクリメンタルチェックポイントを用いた場合、書き込みスループット、ストレージの空間効率、ネットワーク効率の観点で、システムのパフォーマンスはどのようになるか？
• RQ4 専用ストレージインfraストラクチャが存在しない状況でも、高いデータ可用性とフェイルセーフ性を維持できるか？

主な発見

• stdchkは、従来のファイルシステムへのチェックポイントストレージのオフロードを実現することで、その負荷を著しく軽減した。
• 高い書き込みスループットを達成しており、パフォーマンス要求の厳しいデスクトップグリッドワークロードにおいて実用的であることが示された。
• インクリメンタルチェックポイントは、ストレージ消費量とネットワーク転送オーバーヘッドの両方を顕著に削減した。
• レプリケーションや分散戦略を用いることでデータ可用性が向上し、専用ストレージが存在しない状況でもフェイルセーフ性が強化された。
• 従来のファイルシステムインタフェースのおかげで、既存のアプリケーションとの透過的な統合が可能となり、導入の障壁が最小限に抑えられた。