[論文レビュー] Performance and Fault Tolerance in the StoreTorrent Parallel Filesystem

Federico D. Sacerdoti|arXiv (Cornell University)|Jan 21, 2010

Advanced Data Storage Technologies参考文献 21被引用数 4

ひとこと要約

StoreTorrent は、コンmodityハードウェア上で小規模データレコードを効率的に処理することを目的とした並列ファイルシステムであり、アプリケーション-OSパイプライン処理とピアツーピアレプリカインデックス共有を活用して、パフォーマンスと耐障害性を向上させている。70ノードで並列小規模書き込みに対して1.69 GB/s、ネットワーク読み取りに対して8.47 GB/sの性能を達成し、PVFS や Gluster を上回った。

ABSTRACT

With a goal of supporting the timely and cost-effective analysis of Terabyte datasets on commodity components, we present and evaluate StoreTorrent, a simple distributed filesystem with integrated fault tolerance for efficient handling of small data records. Our contributions include an application-OS pipelining technique and metadata structure to increase small write and read performance by a factor of 1-10, and the use of peer-to-peer communication of replica-location indexes to avoid transferring data during parallel analysis even in a degraded state. We evaluated StoreTorrent, PVFS, and Gluster filesystems using 70 storage nodes and 560 parallel clients on an 8-core/node Ethernet cluster with directly attached SATA disks. StoreTorrent performed parallel small writes at an aggregate rate of 1.69 GB/s, and supported reads over the network at 8.47 GB/s. We ported a parallel analysis task and demonstrate it achieved parallel reads at the full aggregate speed of the storage node local filesystems.

研究の動機と目的

• コンmodityハードウェアを用いてテラバイト規模のデータセットをコスト効率よく、かつ迅速に分析できるようにすること。
• 分散ファイルシステムにおける小規模レコードI/Oのパフォーマンスボトルネックを解消すること。
• 劣化状態下でもI/Oパフォーマンスを損なわずに耐障害性を向上させること。
• 並列解析中にデータ転送を排除するために、ピアツーピア通信によるレプリカ位置インデックスの共有を実現すること。
• 実世界の並列ワークロードにおけるエンドツーエンドのパフォーマンス向上を実証すること。

提案手法

• アプリケーションレベルI/OとOSレベルのシステムコールを重ねて実行するアプリケーション-OSパイプライン処理により、小規模書き込みの遅延を低減すること。
• 小規模レコードメタデータの高速な検索と更新を最適化した特別なメタデータ構造の採用。
• ストレージノード間でのレプリカ位置インデックスのピアツーピア交換により、並列読み取り時にデータ転送なしでデータにアクセス可能にする。
• ノード間でメタデータとデータをレプリケートすることで、可用性と耐障害性を確保すること。
• 直接接続されたSATAディスクを搭載した70ノード、8コアのイーサーネットクラスタにファイルシステムを統合すること。
• 560台の並列クライアントを用いてPVFS や Gluster と比較し、書き込みおよび読み取りパフォーマンスを評価するベンチマークテストの実施。

実験結果

リサーチクエスチョン

• RQ1 アプリケーション-OSパイプライン処理により、分散ファイルシステムにおける小規模レコードの書き込みパフォーマンスは著しく向上するか？
• RQ2 ピアツーピアでのレプリカ位置インデックス共有により、劣化状態下でも並列解析時のデータ転送を完全に排除できるか？
• RQ3 コンmodityベースの並列ファイルシステムが小規模ファイルに対して達成可能な集約I/Oパフォーマンスはどの程度か？
• RQ4 StoreTorrent は、PVFS や Gluster といった既存システムと比較して、書き込みおよび読み取りスループットで優れているか？
• RQ5 耐障害性を備えたファイルシステムは、ノード障害やネットワーク劣化状態下でも高いパフォーマンスを維持できるか？

主な発見

• StoreTorrent は70ノードで集約並列小規模書き込みパフォーマンスを1.69 GB/sで達成し、ベースラインシステムと比較して顕著な性能向上を示した。
• システムはネットワークベースの並列読み取りを8.47 GB/sで維持し、ストレージノードの集約ローカルファイルシステム帯域幅に近づいた。
• ピアツーピアレプリカインデックス共有の活用により、一部のノードが劣化または障害状態にあっても、並列解析がデータ転送なしで継続可能であった。
• アプリケーション-OSパイプライン処理と最適化されたメタデータ構造のおかげで、小規模I/O操作において1〜10倍のパフォーマンス向上が達成された。
• 移植された並列解析タスクは、ローカルストレージサブシステムの全集約速度でデータ読み取りが可能となり、エンドツーエンドのパフォーマンス効率を裏付けた。
• 同じテスト条件下で、StoreTorrent は両方のワークロード（書き込みおよび読み取り）において、PVFS や Gluster を上回った。