[论文解读] Montage: a grid portal and software toolkit for science-grade astronomical image mosaicking

Joseph Jacob, Daniel S. Katz+9 more|arXiv (Cornell University)|May 24, 2010

Astronomical Observations and Instrumentation被引用 13

一句话总结

Montage 是一个可移植的、面向科学级的软件工具包和网格门户，通过重新投影、对齐和叠加多个图像，在保持天体测量和测光准确性的同时，构建高精度的天文图像马赛克。它支持基于 MPI 的并行执行以及基于 Pegasus 的工作流管理，后者在分布式系统（如 TeraGrid）上展现出更优的容错能力和资源利用率。

ABSTRACT

Montage is a portable software toolkit for constructing custom, science-grade mosaics by composing multiple astronomical images. The mosaics constructed by Montage preserve the astrometry (position) and photometry (intensity) of the sources in the input images. The mosaic to be constructed is specified by the user in terms of a set of parameters, including dataset and wavelength to be used, location and size on the sky, coordinate system and projection, and spatial sampling rate. Many astronomical datasets are massive, and are stored in distributed archives that are, in most cases, remote with respect to the available computational resources. Montage can be run on both single- and multi-processor computers, including clusters and grids. Standard grid tools are used to run Montage in the case where the data or computers used to construct a mosaic are located remotely on the Internet. This paper describes the architecture, algorithms, and usage of Montage as both a software toolkit and as a grid portal. Timing results are provided to show how Montage performance scales with number of processors on a cluster computer. In addition, we compare the performance of two methods of running Montage in parallel on a grid.

研究动机与目标

• 解决从具有不同坐标系和分辨率的分布式多波段天文数据集中构建一致、高动态范围马赛克的挑战。
• 使研究人员能够使用单一统一的软件工具包，生成任意大小天空区域和空间采样率的定制化马赛克。
• 通过使用标准化的网格中间件在集群和网格上执行，克服单机处理在性能和可扩展性方面的限制。
• 通过 Pegasus 工作流管理实现在异构计算环境中的容错、可扩展且可移植的马赛克工作流执行。
• 在重新投影和叠加过程中，通过保持输入图像的测光和天体测量完整性，确保科学准确性。

提出的方法

• 采用模块化软件工具包，包含用于图像重新投影、重叠区域检测、背景匹配和叠加的组件，支持多种像素处理策略。
• 使用 MPI 实现集群上的并行执行，通过在多个处理器间分配负载，提升计算密集型任务的处理效率。
• 集成 Pegasus 工作流管理系统，协调在网格上的分布式执行，支持动态调度和容错机制。
• 利用标准网格工具（如 Globus、GRAM）在远程资源上执行作业，抽象平台相关细节。
• 采用元数据驱动的工作流组合，用户指定的参数（如天球坐标、投影方式、分辨率）定义马赛克构建的处理流程。
• 支持通过单机上的 shell 脚本直接执行，也支持通过网格门户和工作流引擎实现的复杂分布式执行。

实验结果

研究问题

• RQ1 如何构建一个可扩展、可移植且科学准确的图像马赛克系统，以处理大规模分布式天文数据？
• RQ2 在网格平台上进行图像马赛克处理时，基于 MPI 的并行化与基于 Pegasus 的工作流执行之间存在哪些性能权衡？
• RQ3 工作流管理系统（如 Pegasus）能否在大规模天文马赛克处理中，相比原生 MPI 提供更好的容错能力和资源利用率？
• RQ4 Montage 的性能在集群或网格上处理器数量增加时如何扩展？
• RQ5 在马赛克构建流程中，现有中间数据产品在多大程度上可以被重用以提升效率？

主要发现

• Montage 能够成功构建科学级马赛克，确保在不同数据集和坐标系下输入图像的天体测量和测光准确性。
• 基于 Pegasus 的执行方式在容错能力和高效 I/O 处理方面优于 MPI，尤其在数据分布在远程归档系统时表现更优。
• 在 TeraGrid 集群上，Pegasus 通过仅对每个任务打开相关文件，显著降低了 I/O 开销，相比 MPI 表现更优。
• 尽管存在更高的启动开销，Pegasus 方法在大规模马赛克处理中仍能实现与 MPI 相当的性能，得益于优化的数据访问和动态调度。
• Montage 的模块化设计使其无需修改代码即可在单机、集群和网格上无缝执行，显著提升了可移植性和易用性。
• 该系统已在多个 NASA 任务中成功部署，包括斯皮策遗产项目、IRSA 和 COSMOS 巡天项目，验证了其科学实用性与稳健性。