[論文レビュー] An Assessment of Data Transfer Performance for Large-Scale Climate Data Analysis and Recommendations for the Data Infrastructure for CMIP6

Eli Dart, Michael Wehner+1 more|arXiv (Cornell University)|Aug 26, 2017

Climate variability and models参考文献 7被引用数 5

ひとこと要約

本論文は、大規模気象データのデータ転送パフォーマンスを評価し、56 TBのCMIP5モデル出力を分散アーカイブからNERSCに転送するプロセスを対象としている。ESGFインフラの深刻なボトルneckを特定し、将来的なCMIP6ワークフローで少なくとも10倍の高速化を達成するため、Science DMZのベストプラクティスの採用、リソース配分の増加、標準化されたパフォーマンスメトリクスの導入を提言している。

ABSTRACT

We document the data transfer workflow, data transfer performance, and other aspects of staging approximately 56 terabytes of climate model output data from the distributed Coupled Model Intercomparison Project (CMIP5) archive to the National Energy Research Supercomputing Center (NERSC) at the Lawrence Berkeley National Laboratory required for tracking and characterizing extratropical storms, a phenomena of importance in the mid-latitudes. We present this analysis to illustrate the current challenges in assembling multi-model data sets at major computing facilities for large-scale studies of CMIP5 data. Because of the larger archive size of the upcoming CMIP6 phase of model intercomparison, we expect such data transfers to become of increasing importance, and perhaps of routine necessity. We find that data transfer rates using the ESGF are often slower than what is typically available to US residences and that there is significant room for improvement in the data transfer capabilities of the ESGF portal and data centers both in terms of workflow mechanics and in data transfer performance. We believe performance improvements of at least an order of magnitude are within technical reach using current best practices, as illustrated by the performance we achieved in transferring the complete raw data set between two high performance computing facilities. To achieve these performance improvements, we recommend: that current best practices (such as the Science DMZ model) be applied to the data servers and networks at ESGF data centers; that sufficient financial and human resources be devoted at the ESGF data centers for systems and network engineering tasks to support high performance data movement; and that performance metrics for data transfer between ESGF data centers and major computing facilities used for climate data analysis be established, regularly tested, and published.

研究の動機と目的

• 分散アーカイブから国立スーパーコンピューティングセンターに移行された56 TBのCMIP5気象モデル出力の転送パフォーマンスと課題を評価すること。
• 大規模気象データ分析を妨げる、ESGFデータ転送ワークフローおよびインフラにおけるシステム的制限を同定すること。
• より大きなCMIP6データアーカイブに備えて、データ転送パフォーマンスを向上させるための実行可能な提言を提供すること。
• ESGFデータセンターと主要計算施設間のデータ転送における標準化されたパフォーマンスメトリクスの導入と継続的テストを提唱すること。

提案手法

• ESGFアーカイブからNERSCのハイパフォーマンスコンピューティング環境に56 TBの生気象モデル出力を移行する際の実際のデータ転送速度を測定した。
• ワークフローの非効率性とネットワークパフォーマンス制限を特定するため、ESGFポータルおよびデータセンターインフラを評価した。
• 制御された転送を2つのハイパフォーマンスコンピューティング施設間で実施し、達成可能なパフォーマンスレベルをScience DMZモデルを用いて示した。
• パフォーマンス劣化を文脈づけるために、一般的な米国の住宅用ブロードバンドと比較して転送速度をベンチマークした。
• 専用のハイパフォーマンスネットワーク経路と最適化されたサーバー構成を含む、確立されたネットワーキングベストプラクティスに基づき、インフラ改善を提言した。
• 高スルーレートのデータ移動を支援するため、システムおよびネットワーク工学分野における機関的投資の推進を提唱した。

実験結果

リサーチクエスチョン

• RQ1 ESGFアーカイブから国立計算センターに大規模気象モデル出力を転送する際、実際に得られたデータ転送速度はどの程度か？
• RQ2 気象データの科学的意義が極めて高いにもかかわらず、なぜESGFのデータ転送速度が一般的な米国住宅用ブロードバンド速度を下回ることが多いのか？
• RQ3 現在のネットワーキングベストプラクティスを適用することで、気象データワークロードのデータ転送パフォーマンスはどの程度向上できるのか？
• RQ4 ESGF内に存在する、非効率なデータ転送パフォーマンスを引き起こすシステム的インフラおよびワークフロー上の問題は何か？
• RQ5 ESGFデータセンターと主要計算施設間のデータ転送パフォーマンスメトリクスを標準化し、維持するにはどうすればよいか？

主な発見

• ESGFポータル経由のデータ転送速度は、一般的な米国住宅用ブロードバンド接続を下回ることが多く、顕著なパフォーマンス劣化が生じていることが示された。
• ESGFインフラは、特に大規模データ転送時において、ワークフローのメカニズムとネットワークパフォーマンスの両方で顕著なボトルneckを示している。
• 2つのハイパフォーマンスコンピューティング施設間の制御された転送では、はるかに高い速度が達成された。これは、少なくとも10倍のパフォーマンス向上が技術的に可能であることを示している。
• 現在のESGFインフラは、CMIP6規模のデータセットに特に適した高スルーレートデータ移動のための十分なエンジニアリングリソースと最適化を欠いている。
• ESGFデータセンターと主要計算施設間のデータ転送パフォーマンスメトリクスは現在存在せず、パフォーマンス監視および最適化が妨げられている。