[論文レビュー] A distributed file system for a wide-area high performance computing infrastructure

Edward Walker|arXiv (Cornell University)|Jan 1, 2010

Advanced Data Storage Technologies参考文献 23被引用数 10

ひとこと要約

本論文では、NSF TeraGridのような高性能計算環境を想定した、広域分散ファイルシステムXUFSを提示する。XUFSは、プライベート分散名前空間を用いて9,000台を超えるノードにわたり、シームレスかつ透明な個人ファイルへのアクセスを可能にし、一時的なネットワーク切断時にも堅牢に動作する。広域環境下でのスループットは、既存の高性能ファイルシステムと同等またはそれ以上の性能を達成している。

ABSTRACT

We describe our work in implementing a wide-area distributed file system for the NSF TeraGrid. The system, called XUFS, allows private distributed name spaces to be created for transparent access to personal files across over 9000 computer nodes. XUFS builds on many principles from prior distributed file systems research, but extends key design goals to support the workflow of computational science researchers. Specifically, XUFS supports file access from the desktop to the wide-area network seamlessly, survives transient disconnected operations robustly, and demonstrates comparable or better throughput than some current high performance file systems on the wide-area network.

研究の動機と目的

• 地理的に分散したノードを有する広域高性能計算インfraストラクチャにおいて、効率的で信頼性の高いファイルアクセスを提供する課題に対処すること。
• ネットワークの不安定さにもかかわらず、計算科学者がデスクトップからクラスターノードまで、シームレスに個人ファイルにアクセスできるようにすること。
• 広域かつ高性能計算環境において、高いスループットと耐障害性を維持する分散ファイルシステムを設計すること。
• ユーザーが異種のシステムやネットワーク状態においても、透明にファイルにアクセスできるプライベート分散名前空間を実装すること。

提案手法

• XUFSは、先行する分散ファイルシステムの原則を基盤としつつ、広域かつ高性能計算ワークフローをサポートするように拡張している。
• ユーザーが複数のノードにわたって個人ファイルを透明にアクセスできるように、プライベート分散名前空間を実装している。
• ローカルキャッシュと一貫性のある状態を維持することで、一時的なネットワーク切断時にも堅牢な動作を確保している。
• 広域ネットワークを介した高スループットを達成するために、効率的なデータレプリケーションおよびキャッシュ戦略を採用している。
• アプリケーションレベルの変更なしに、デスクトップからクラスタまでのエンドツーエンドのファイルアクセスを提供するために、既存のHPCインfraに統合している。
• 相互運用性とパフォーマンスを重視した設計となっており、既存プロトコルを活用するとともに、低レイテンシかつ高帯域幅アクセスを最適化している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、広域高性能計算ネットワークにおいて高スループットを実現する分散ファイルシステムを設計できるか？
• RQ2 大規模な分散環境において、一時的なネットワーク切断時にも信頼性の高い動作を実現するメカニズムは何か？
• RQ3 何千ものノードにわたる環境で、ユーザーのファイルに透明にアクセスできるようにするため、プライベート分散名前空間をどのように効率的に実装できるか？
• RQ4 既存の高性能ファイルシステムと比較して、広域HPC環境で達成可能なパフォーマンス特性は何か？
• RQ5 ネットワーク状態が変動する環境において、9,000台を超えるノードにスケーリングする際、一貫性と可用性をどのように維持できるか？

主な発見

• XUFSは、NSF TeraGridインfraストラクチャの9,000台を超えるコンピューターノードにわたり、透明なファイルアクセスを成功裏に実現した。
• 広域ネットワーク環境下でも、既存の高性能ファイルシステムと同等またはそれ以上のスループットを示した。
• ローカルキャッシュと一貫性のある状態を維持することで、一時的なネットワーク切断時にも堅牢な動作を実現した。
• プライベート分散名前空間は効果的に実装されており、ユーザーが任意のノードから個人ファイルをシームレスにアクセスできるようになった。
• 広域展開に一般的な変動するネットワーク条件下でも、高い可用性とパフォーマンスを維持した。
• 評価結果から、XUFSは大規模かつ分散型の環境における計算科学の研究者が求めるワークフローを満たしていることが示された。