[論文レビュー] Challenges and Considerations for Utilizing Burst Buffers in High-Performance Computing

Melissa Romanus, Robert Ross+1 more|arXiv (Cornell University)|Sep 18, 2015

Advanced Data Storage Technologies参考文献 1被引用数 11

ひとこと要約

本論文は、エクサスケールHPCシステムに統合する際のバーストバッファ—大容量で低遅延のメモリ層—の挑戦と考慮事項を検討する。チェックポイント再開、イン・サイト分析、オフ・コア計算といった主なユースケースを特定し、リソース割り当てやデータ一貫性といったシステムレベルの課題をそれらのユースケースにマッピングし、DataWarp や DDN のインフィニットメモリエンジン（IME）といった最先端のソリューションを評価している。これらのソリューションはベンチマークで最大1,000倍のI/O高速化を達成している。

ABSTRACT

As high-performance computing (HPC) moves into the exascale era, computer scientists and engineers must find innovative ways of transferring and processing unprecedented amounts of data. As the scale and complexity of the applications running on these machines increases, the cost of their interactions and data exchanges (in terms of latency, energy, runtime, etc.) can increase exponentially. In order to address I/O coordination and communication issues, computing vendors are developing an intermediate layer between compute nodes and the parallel file system composed of different types of memory (NVRAM, DRAM, SSD). These large scale memory appliances are being called 'burst buffers.' In this paper, we envision advanced memory at various levels of HPC hardware and derive potential use cases for how to take advantage of it. We then present the challenges and issues that arise when utilizing burst buffers in next-generation supercomputers and map the challenges to the use cases. Lastly, we discuss the emerging state-of-the-art burst buffer solutions that are expected to become available by the end of the year in new HPC systems and which use cases these implementations may satisfy.

研究の動機と目的

• HPCアーキテクチャ全体にまたがるマルチティアバーストバッファの導入におけるシステムレベルの課題を特定・分析すること。
• それらの課題をチェックポイント再開、イン・サイト分析、ワークフロー結合といった具体的な科学的ワークロードおよびユースケースにマッピングすること。
• 既存のバーストバッファソリューション（例：DataWarp、DDN IME）を評価し、それらが将来のHPC I/O要件を満たす能力を検証すること。
• 現在のハードウェア能力と、科学的ワークフローにおけるバーストバッファ統合の潜在的限界との間のギャップを浮き彫りにすること。
• リソース管理、データ一貫性、ランタイム連携における未解決の問題を明らかにすることで、今後の研究を導くこと。

提案手法

• ノードローカル、ボードローカル、中間ストレージ、I/Oサブシステムの各レベルにバーストバッファを備えたHPCシステムを表現するための抽象マシンモデル（AMM）を開発した。
• 図1に示す階層的メモリモデルを提案し、メモリティアの帯域幅、遅延、コストのトレードオフを可視化した。
• バーストバッファ統合の影響を受ける3つの主要なシステムレイヤー（アプリケーション、ランタイム環境、オペレーティングシステム）を特定した。
• リソース割り当て、データ一貫性、フォールトトレランスといった一般化された課題を、構造化された分析表を通じて6つの具体的なユースケースにマッピングした。
• DataWarp（Cray製）およびDDNインフィニットメモリエンジン（IME）を含む実世界のバーストバッファ実装を評価し、導入モデルとパフォーマンス主張に注目した。
• 変更なしの科学的アプリケーション（例：S3D）のベンチマーク結果を用い、バーストバッファによる加速がもたらすI/Oパフォーマンス向上を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 ノードローカル、中間、I/Oといった異なるアーキテクチャレベルにおけるバーストバッファが、HPCワークロードのパフォーマンスと効率にどのように影響を与えるか？
• RQ2 複数のユーザーとアプリケーションをサポートするバーストバッファインfraに伴い、リソース割り当て、データ一貫性、フォールトトレランスといったシステムレベルの課題がどのように生じるか？
• RQ3 DataWarp やDDN IME といった既存のバーストバッファソリューションが、チェックポイント再開、イン・サイト分析、オフ・コア計算といったHPCの重要なユースケースをどの程度満たせるか？
• RQ4 アプリケーションの変更なしにバーストバッファを採用する場合の意味は何か？ これによりI/Oパフォーマンスとデータ管理にどのような影響が生じるか？
• RQ5 バーストバッファアーキテクチャは、計算ノードおよび並列ファイルシステム間のデータ移動、スケジューリング、連携にどのように影響を与えるか？

主な発見

• DDNインフィニットメモリエンジン（IME）は、変更なしのS3Dアプリケーションに対して最大1,000倍のI/O加速と100倍の並列ファイルシステム（PFS）加速を達成し、顕著なパフォーマンス向上を示した。
• バーストバッファは、恒久的ストレージとの連携を組み合わせることで、I/O遅延を低減しフォールトトレランスを向上させることで、効率的なチェックポイント再開を可能にする。
• IMEがネットワーク混雑を自己管理し、I/Oトラフィックをオフロードできることで、高速インタコネクトの利用効率が向上し、PFSのボトルネックが軽減される。
• バーストバッファは、データをPFSに完全に移動させずにリアルタイムのデータ処理と可視化を可能にすることで、イン・サイトおよびイン・トランジット分析を支援する。
• オフ・コアアプリケーションは、バーストバッファにより遅延の高いストレージへの依存度を低下させることができ、より高速な中間メモリにデータをステージングすることでメインメモリのボトルネックを回避する。
• 科学的ワークフローへのバーストバッファの統合により、特に共有データセットが中間メモリレイヤーに格納されている場合、コンponent間のデータ交換および結合が高速化される。