[论文解读] High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing

Niels Drost, Jason Maassen+7 more|arXiv (Cornell University)|Mar 1, 2012

Distributed and Parallel Computing Systems参考文献 13被引用 4

一句话总结

本论文提出了一种基于Ibis中间件的原型分布式仿真框架，旨在在异构、地理分布的资源——即“丛林计算”系统上，实现高性能、多模型、多核天体物理学仿真。结果表明，AMUSE（计算天体物理学框架）能够高效利用跨大陆的远程GPU，将每次仿真迭代的时间从仅使用CPU的353秒减少至62.4秒，当模型分布在四个机构之间时实现。

ABSTRACT

High-performance scientific applications require more and more compute power. The concurrent use of multiple distributed compute resources is vital for making scientific progress. The resulting distributed system, a so-called Jungle Computing System, is both highly heterogeneous and hierarchical, potentially consisting of grids, clouds, stand-alone machines, clusters, desktop grids, mobile devices, and supercomputers, possibly with accelerators such as GPUs. One striking example of applications that can benefit greatly of Jungle Computing Systems are Multi-Model / Multi-Kernel simulations. In these simulations, multiple models, possibly implemented using different techniques and programming models, are coupled into a single simulation of a physical system. Examples include the domain of computational astrophysics and climate modeling. In this paper we investigate the use of Jungle Computing Systems for such Multi-Model / Multi-Kernel simulations. We make use of the software developed in the Ibis project, which addresses many of the problems faced when running applications on Jungle Computing Systems. We create a prototype Jungle-aware version of AMUSE, an astrophysical simulation framework. We show preliminary experiments with the resulting system, using clusters, grids, stand-alone machines, and GPUs.

研究动机与目标

• 解决在高度异构、分布式且分层的计算资源（称为“丛林计算”）中高效利用大规模科学仿真挑战。
• 在计算天体物理学中实现多模型、多核（3MK）仿真，这些仿真需要远超单系统能力的海量计算能力。
• 开发一个原型系统，实现在分布式环境中跨集群、网格、独立计算机和GPU的AMUSE仿真无缝部署与执行。
• 通过跨越多个大陆和多样化硬件资源的真实实验，评估该系统的性能与可行性。

提出的方法

• 利用开源Ibis软件框架抽象底层系统异构性，并管理跨不同平台的通信与资源访问。
• 扩展AMUSE仿真框架以支持分布式能力，实现跨不同计算资源的多个天体物理模型（如恒星演化、流体动力学）的耦合。
• 实现一个丛林感知耦合器，根据可用硬件（包括CPU和GPU）动态选择并分配模型到合适的资源。
• 使用消息传递接口（MPI）实现节点间通信，利用Ibis的轻量级进程模型实现跨防火墙和NAT的资源间协调。
• 通过将计算密集型模型（如Octgrav）重新分配至高性能GPU节点（如莱顿的LGM集群），实现远程GPU利用。
• 配置系统以允许通过简单的脚本更改实现仿真组件的透明重新配置，最大限度降低用户层面的复杂性。

实验结果

研究问题

• RQ1 能否在异构、地理分布的资源中有效部署分布式、多模型、多核仿真框架，以实现‘丛林计算’环境下的仿真？
• RQ2 该系统在多大程度上能高效利用远程GPU资源，以加速仿真中计算密集型组件的执行？
• RQ3 在多个机构和网络拓扑结构之间管理分布式执行的性能开销有多大？
• RQ4 该系统能否动态适应资源可用性，并自动为不同模型选择最优计算内核（如CPU与GPU版本）？
• RQ5 通过在多个大陆和多样化硬件平台上分布模型，该系统在多大程度上能够实现性能扩展？

主要发现

• 该原型成功在多个机构之间执行了3MK仿真，包括莱顿的一台配备GPU的节点，证明了跨大陆资源的利用能力。
• 在LGM集群上使用远程Tesla C2050 GPU将每次仿真迭代时间缩短至84秒，优于本地GeForce 9600GT GPU的89秒。
• 将仿真分布在四个不同大学之间，将每次迭代时间减少至62.4秒，相比仅使用CPU的353秒实现5.7倍加速。
• 通过将计算密集型模型卸载至远程GPU，即使网络距离达30公里，系统仍实现了显著的性能提升。
• 分布式系统的开销足够低，使得在某些配置下，远程GPU使用比本地GPU使用更高效。
• 该原型证明，仅通过修改脚本中的一行代码，即可在本地与远程执行之间无缝切换，充分体现了系统的可用性与灵活性。