[论文解读] MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface

Nicholas T. Karonis, Brian Toonen+1 more|ArXiv.org|Jun 25, 2002

Distributed and Parallel Computing Systems参考文献 33被引用 11

一句话总结

MPICH-G2 是 MPI-1 标准的网格化实现，利用 Globus 工具包实现跨异构、地理分布资源的 MPI 应用透明执行。通过集成 Globus 的认证、资源分配和进程管理服务，用户可使用标准命令运行 MPI 程序，实现接近本机性能，并支持应用层对网络拓扑和服务质量的管理。

ABSTRACT

Application development for distributed computing "Grids" can benefit from tools that variously hide or enable application-level management of critical aspects of the heterogeneous environment. As part of an investigation of these issues, we have developed MPICH-G2, a Grid-enabled implementation of the Message Passing Interface (MPI) that allows a user to run MPI programs across multiple computers, at the same or different sites, using the same commands that would be used on a parallel computer. This library extends the Argonne MPICH implementation of MPI to use services provided by the Globus Toolkit for authentication, authorization, resource allocation, executable staging, and I/O, as well as for process creation, monitoring, and control. Various performance-critical operations, including startup and collective operations, are configured to exploit network topology information. The library also exploits MPI constructs for performance management; for example, the MPI communicator construct is used for application-level discovery of, and adaptation to, both network topology and network quality-of-service mechanisms. We describe the MPICH-G2 design and implementation, present performance results, and review application experiences, including record-setting distributed simulations.

研究动机与目标

• 在不修改用户代码的前提下，实现跨异构、广域、分布式系统的 MPI 应用透明执行。
• 探究 MPI 的现有机制是否能有效管理网格环境中的异构性，包括网络拓扑和质量服务。
• 评估 MPI 是否可作为网格计算的实际且高效的编程模型，尽管其传统上用于紧耦合集群。
• 在保持与标准 MPI 接口和工具兼容性的同时，降低广域网中的性能开销。
• 证明 MPI 作为可扩展、用户友好的编程模型，在传统 HPC 和新兴网格科学应用中的可行性。

提出的方法

• 在阿贡国家实验室的 MPICH 实现基础上，扩展 Globus 工具包服务，用于认证、授权、资源分配和可执行文件分发。
• 利用 Globus 中间件自动化跨管理域的进程创建、监控、控制和 I/O 重定向。
• 将网络拓扑信息集成到启动和集体通信等性能关键操作中，以优化数据移动。
• 利用 MPI 通信器表示分层系统结构，支持应用层对网络拓扑和 QoS 机制的自适应。
• 采用异步操作和拓扑感知的集体算法，以管理延迟并提升广域网中的性能。
• 重新实现核心组件以提升可扩展性和效率，显著优于早期的 MPICH-G 系统。

实验结果

研究问题

• RQ1 在不引入显著性能开销的前提下，MPI 是否可有效用作网格计算的编程模型？
• RQ2 现有 MPI 机制——特别是通信器和异步操作——在广域、分布式环境中管理异构性的程度如何？
• RQ3 Globus 工具包服务的集成是否能实现在多个管理域之间对认证、资源分配和进程控制的透明、自动化管理？
• RQ4 MPICH-G2 在局域网和广域网环境下的性能与本机 MPI 实现相比如何？
• RQ5 基于 MPI 的应用是否能在实际网格部署中实现高可扩展性和可靠性，包括复杂模拟和可视化流水线？

主要发现

• 与本机 MPI 实现相比，MPICH-G2 的性能开销可忽略不计，通信函数的延迟几乎与本地执行无异。
• 通过使用 Globus 工具包服务，可完全自动化作业设置，包括认证、可执行文件分发和资源分配，使用户能够使用标准的 mpirun 命令在多个站点运行 MPI 程序。
• MPI 通信器成功实现了应用层对网络拓扑的发现与自适应，提升了分层和广域网络中的性能。
• 通过 MPI 机制支持用户级对网络服务质量的管理，实验验证了 QoS 感知通信模式的可行性。
• MPICH-G2 已成功应用于生产环境，用于创纪录的分布式模拟和多样化应用，包括远程可视化与大规模数值建模。
• 该实现表明，即使在高度异构和广域的环境中，MPI 仍可作为可行、可扩展且高效的网格计算编程模型。