[論文レビュー] Development of a Burst Buffer System for Data-Intensive Applications

Teng Wang, Sarp Oral+3 more|arXiv (Cornell University)|May 7, 2015

Advanced Data Storage Technologies参考文献 5被引用数 5

ひとこと要約

本論文では、データ集積的科学的アプリケーションにおけるI/Oボトルネックを軽減するため、Lustre並列ファイルシステムと統合された高性能バーストバッファシステムを提案する。一貫性ハッシュと階層型ストレージ（DRAM/SSD）を用いたクライアント・サーバアーキテクチャにより、チェックポイントI/Oの高速化を実現し、ネイティブLustreと比較して2.78倍の性能向上を達成。データがメモリに収まる場合、最大980 MB/sのイングレス帯域幅を達成した。

ABSTRACT

Modern parallel filesystems such as Lustre are designed to provide high, scalable I/O bandwidth in response to growing I/O requirements; however, the bursty I/O characteristics of many data-intensive scientific applications make it difficult for back-end parallel filesystems to efficiently handle I/O requests. A burst buffer system, through which data can be temporarily buffered via high-performance storage mediums, allows for gradual flushing of data to back-end filesystems. In this paper, we explore issues surrounding the development of a burst buffer system for data-intensive scientific applications. Our initial results demonstrate that utilizing a burst buffer system on top of the Lustre filesystem shows promise for dealing with the intense I/O traffic generated by application checkpointing.

研究の動機と目的

• スーパーコンputーイングの性能とストレージシステムのスケーラビリティの間のI/O帯域幅のギャップを解消すること。
• 特にチェックポイント処理中に発生するバースト型I/Oパターンによって引き起こされるI/Oボトルネックを軽減すること。
• 計算とI/Oを分離するために、高速ストレージにデータをバッファリングする信頼性がありスケーラブルなバーストバッファシステムを設計すること。
• バーストバッファサーバーの障害発生時における迅速なクラッシュ回復とフェイルセーフを可能にすること。
• バーストバッファサーバー間でのデータ分散とフラッシュ処理を最適化し、ワークロードのバランスを保ちながらスループットを最大化すること。

提案手法

• クライアントをコンピューティングノードに、サーバーをバーストバッファノード上でデーモンとして配置し、サーバーリングを維持するための集中型マネージャを統合した三層アーキテクチャを導入。
• 一貫性ハッシュを用いてキー・バリュー対をサーバー間で分散し、効率的な負荷分散と動的拡張を可能にする。
• サーバー間連携を実装：過負荷のサーバーが隣接ノードに空きメモリを照会し、クライアントを利用度の低いノードにリダイレクトする。
• ハイブリッドストレージ（DRAMとSSD）を活用し、高スループットI/Oを吸収。メモリが枯渇した場合はデータをSSDにスプールする。
• Infiniband接続のノードとIORベンチマークを用いて、さまざまな構成とワークロード下での性能を評価。
• 実世界のバーストバッファ動作を再現するため、ログ構造的書き込みパターンを適用し、SSD利用効率を評価。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてバーストバッファシステムが科学的アプリケーションのチェックポイントから生じるバースト型I/Oトラフィックを効果的に吸収できるか？
• RQ2 バーストバッファサーバーにおけるデータ分散のバランスを保ち、パフォーマンスボトルネックを防ぐメカニズムは何か？
• RQ3 階層型ストレージモデルにおけるDRAMとSSDの統合が、I/Oスループットと遅延に与える影響は何か？
• RQ4 バックエンド並列ファイルシステムへの直接I/Oと比較して、バーストバッファシステムがI/Oパフォーマンスをどの程度向上できるか？
• RQ5 サーバー障害発生時において、システムは信頼性を維持し、迅速なクラッシュ回復を実現できるか？

主な発見

• ISOデータ配置戦略を用いた場合、ネイティブIOR-SFに対して平均278.2%、IOR-SFPに対して174.5%のI/O帯域幅向上を達成した。
• BB-IOR-ISOが最高性能を示し、データが完全にメモリに収まる状況（4GBの割り当て）でピークイングレス帯域幅980 MB/sを達成した。
• ハイブリッドメモリ/SSD（bbIORHYB）の性能は302.29 MB/sに達し、最適化された書き込み順序のおかげで直接SSD I/O（166.7 MB/s）を大きく上回った。
• すべてのデータがSSDにスプールされたbbIORSSDケースでは198.83 MB/sを達成し、SSDの連続書き込み性能（205.99 MB/s）に非常に近づき、効率的なログ構造的書き込みが妥当であることを裏付けた。
• サーバー数の増加に比例して帯域幅が増加する傾向を示し、特にISO戦略下で強いスケーラビリティを示した。
• バーストバッファなしでSATA HDDに直接I/Oを実行した場合、帯域幅はたったの27.11 MB/sにとどまり、バッファリングがI/O競合を低減する上で極めて重要な役割を果たしていることが明らかになった。