[论文解读] Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science

Yuri Gordienko, L. V. Bekenov+3 more|arXiv (Cornell University)|Apr 22, 2014

Distributed and Parallel Computing Systems参考文献 12被引用 5

一句话总结

本文介绍了IMP科学网关门户，一个基于WS-PGRADE和gUSE技术的基于Web的平台，可实现对异构分布式计算资源（如集群、网格和云）的无缝工作流管理与集成，用于材料科学中的分子动力学（MD）模拟。该门户展示了其在简化复杂MD工作流（包括石墨烯纳米压痕和氮化硼纳米管热稳定性研究）方面的能力，实现了在多种基础设施上高效、可扩展的执行，且用户对底层系统的技术要求极低。

ABSTRACT

The "IMP Science Gateway Portal" (http://scigate.imp.kiev.ua) for complex workflow management and integration of distributed computing resources (like clusters, service grids, desktop grids, clouds) is presented. It is created on the basis of WS-PGRADE and gUSE technologies, where WS-PGRADE is designed for science workflow operation and gUSE - for smooth integration of available resources for parallel and distributed computing in various heterogeneous distributed computing infrastructures (DCI). The typical scientific workflow with possible scenarios of its preparation and usage is considered. Several typical science applications (scientific workflows) are considered for molecular dynamics (MD) simulations of complex behavior of various nanostructures (nanoindentation of graphene layers, defect system relaxation in metal nanocrystals, thermal stability of boron nitride nanotubes, etc.). The advantages and drawbacks of the solution are shortly analyzed in the context of its practical applications for MD simulations in materials science, physics and nanotechnologies with available heterogeneous DCIs.

研究动机与目标

• 为材料科学研究人员提供一个用户友好的、基于科学网关的界面，以抽象化异构分布式计算基础设施（DCI）的复杂性。
• 实现在包括桌面网格、服务网格、集群和云在内的多种DCI上，对复杂分子动力学（MD）模拟工作流的高效执行。
• 将多种科学工具（如LAMMPS、R、Pizza.py、AtomEye和debyer）集成到统一的工作流环境中，实现端到端的模拟与分析。
• 评估该网关解决方案在涉及石墨烯、金属纳米晶体和氮化硼纳米管等纳米结构的实际MD模拟场景中的优势与局限性。
• 通过在异构基础设施上实现自动化、可扩展的任务执行，证明参数扫描和大规模MD模拟的可行性。

提出的方法

• 该门户基于WS-PGRADE框架实现工作流编排，利用gUSE技术实现对异构DCI（包括XtremWeb-HEP、OurGrid、BOINC SZDG和EDGeS平台）的透明集成。
• 科学工作流通过图形化界面设计为可重用、可配置的流水线，使用户能够串联MD模拟、数据处理和可视化工具。
• 系统通过DCI-Bridge组件支持跨多种DCI类型的作业提交与监控，该组件抽象了底层访问协议和资源管理。
• 工作流使用LAMMPS MD软件包执行原子尺度模拟，后续处理通过R进行统计分析，使用Pizza.py进行文件操作，使用AtomEye进行可视化。
• 通过集成debyer工具，支持X射线和中子衍射分析，实现结构表征的流程化。
• 该门户提供可自定义的GUI，包含端口组件，使科学家能够专注于科学目标，而非底层基础设施细节。

实验结果

研究问题

• RQ1 科学网关门户如何有效抽象异构分布式计算基础设施的复杂性，以服务于材料科学领域非专家用户？
• RQ2 当在包括桌面网格和服务网格在内的多种DCI类型上编排MD模拟时，其性能与可扩展性如何？
• RQ3 统一工作流环境在集成多种科学工具（如LAMMPS、R、debyer）以实现端到端模拟与分析方面表现如何？
• RQ4 在实际材料科学应用中，WS-PGRADE/gUSE/DCI-Bridge技术栈在MD模拟中的实际优势与局限性是什么？
• RQ5 该门户能否高效且可靠地支持复杂、参数扫描的MD工作流（如纳米压痕或热稳定性研究）？

主要发现

• IMP科学网关门户通过单一的基于Web的接口，成功实现了对异构DCI（包括集群、桌面网格和云资源）的透明访问。
• 该门户支持涉及LAMMPS的MD模拟、R的统计分析以及AtomEye的可视化等复杂多步骤科学工作流，实现了工具间无缝的数据流。
• 该系统在多种基础设施上有效执行了MD模拟，包括石墨烯膜的纳米压痕和氮化硼纳米管的热稳定性研究。
• 在拉伸条件下对金属纳米晶体的参数扫描模拟被高效执行，凸显了该门户在大规模、高通量工作流中的能力。
• 将debyer工具集成到工作流中，实现了XRD和ND分析的自动化，显著增强了结构表征能力。
• 该解决方案降低了非计算科学人员的使用门槛，使其能够专注于科学问题，而非底层系统管理或作业调度。