[论文解读] An Assessment of Data Transfer Performance for Large-Scale Climate Data Analysis and Recommendations for the Data Infrastructure for CMIP6

Eli Dart, Michael Wehner+1 more|arXiv (Cornell University)|Aug 26, 2017

Climate variability and models参考文献 7被引用 5

一句话总结

本文评估了大规模气候数据的传输性能，具体为从分布式存档向NERSC传输56 TB的CMIP5模型输出数据。研究识别出ESGF基础设施中的关键瓶颈，并建议采用Science DMZ最佳实践、增加资源分配以及建立标准化性能指标，以实现未来CMIP6工作流中至少10倍的传输速度提升。

ABSTRACT

We document the data transfer workflow, data transfer performance, and other aspects of staging approximately 56 terabytes of climate model output data from the distributed Coupled Model Intercomparison Project (CMIP5) archive to the National Energy Research Supercomputing Center (NERSC) at the Lawrence Berkeley National Laboratory required for tracking and characterizing extratropical storms, a phenomena of importance in the mid-latitudes. We present this analysis to illustrate the current challenges in assembling multi-model data sets at major computing facilities for large-scale studies of CMIP5 data. Because of the larger archive size of the upcoming CMIP6 phase of model intercomparison, we expect such data transfers to become of increasing importance, and perhaps of routine necessity. We find that data transfer rates using the ESGF are often slower than what is typically available to US residences and that there is significant room for improvement in the data transfer capabilities of the ESGF portal and data centers both in terms of workflow mechanics and in data transfer performance. We believe performance improvements of at least an order of magnitude are within technical reach using current best practices, as illustrated by the performance we achieved in transferring the complete raw data set between two high performance computing facilities. To achieve these performance improvements, we recommend: that current best practices (such as the Science DMZ model) be applied to the data servers and networks at ESGF data centers; that sufficient financial and human resources be devoted at the ESGF data centers for systems and network engineering tasks to support high performance data movement; and that performance metrics for data transfer between ESGF data centers and major computing facilities used for climate data analysis be established, regularly tested, and published.

研究动机与目标

• 评估将56 TB的CMIP5气候模型输出从分布式存档传输到国家超算中心以进行风暴分析的性能与挑战。
• 识别ESGF数据传输工作流和基础设施中存在的系统性局限，这些局限阻碍了大规模气候数据分析。
• 为提升未来CMIP6数据存档的工作流中数据传输性能，提出可操作的改进建议。
• 倡导建立标准化性能指标，并定期测试ESGF数据中心与主要计算设施之间的数据传输性能。

提出的方法

• 测量了将56 TB原始气候模型输出从ESGF存档传输到NERSC高性能计算环境期间的实际数据传输速率。
• 评估了ESGF门户和数据中心基础设施在工作流低效和网络性能限制方面的表现。
• 在两个高性能计算设施之间应用Science DMZ模型进行受控传输，以展示可实现的性能水平。
• 将传输速度与典型的美国居民宽带速度进行对比，以说明性能下降的程度。
• 基于既定的网络最佳实践，提出基础设施改进建议，包括专用高性能网络路径和优化的服务器配置。
• 倡导机构投资于系统和网络工程，以支持高吞吐量数据传输。

实验结果

研究问题

• RQ1 当将大规模气候模型输出从ESGF存档传输到国家计算中心时，实际的数据传输速率是多少？
• RQ2 尽管数据具有重要的科学价值，为何ESGF的数据传输速率常常低于典型的美国居民宽带速度？
• RQ3 当前的网络最佳实践能在多大程度上改善气候数据工作负载的数据传输性能？
• RQ4 ESGF内部的哪些系统性基础设施和工作流问题导致了数据传输性能不佳？
• RQ5 如何对ESGF数据中心与主要计算设施之间的数据传输性能指标进行标准化并持续维护？

主要发现

• 通过ESGF门户进行的数据传输速率常常低于典型的美国居民宽带连接速度，表明存在显著的性能下降。
• ESGF基础设施在工作流机制和网络性能方面均存在重大瓶颈，尤其是在大规模数据传输期间。
• 在两个高性能计算设施之间进行的受控传输实现了显著更高的速度，证明至少10倍的性能提升在技术上是可行的。
• 当前的ESGF基础设施缺乏足够的工程资源和优化，以支持高吞吐量数据传输，尤其是CMIP6规模的数据集。
• 目前缺乏ESGF数据中心与主要计算设施之间数据传输的性能指标，阻碍了性能监控与优化。