[论文解读] Atlasmaker: A Grid-based Implementation of the Hyperatlas

R. D. Williams, S. G. Djorgovski+2 more|arXiv (Cornell University)|Dec 8, 2003

Astronomical Observations and Instrumentation参考文献 1被引用 3

一句话总结

Atlasmaker 是一种基于网格的软件系统，通过 Hyperatlas 框架对天文图像调查进行标准化重采样，实现联邦化，从而创建科学可信的多波长、多分辨率天球图。它通过可信的重采样工具（Montage 和 Swarp）实现按需或批量计算联合拼接的马赛克图像，并将结果存储在分布式虚拟文件系统（SRB）中以供重用，从而在天文学和教育应用中实现新的以数据为中心的发现。

ABSTRACT

The Atlasmaker project is using Grid technology, in combination with NVO interoperability, to create new knowledge resources in astronomy. The product is a multi-faceted, multi-dimensional, scientifically trusted image atlas of the sky, made by federating many different surveys at different wavelengths, times, resolutions, polarizations, etc. The Atlasmaker software does resampling and mosaicking of image collections, and is well-suited to operate with the Hyperatlas standard. Requests can be satisfied via on-demand computations or by accessing a data cache. Computed data is stored in a distributed virtual file system, such as the Storage Resource Broker (SRB). We expect these atlases to be a new and powerful paradigm for knowledge extraction in astronomy, as well as a magnificent way to build educational resources. The system is being incorporated into the data analysis pipeline of the Palomar-Quest synoptic survey, and is being used to generate all-sky atlases from the 2MASS, SDSS, and DPOSS surveys for joint object detection.

研究动机与目标

• 开发一种可扩展、互操作的系统，将多波长天文图像联邦化为统一的、科学可信的星图。
• 解决将来自不同调查的图像（具有不同的分辨率、波长和投影方式）整合为共坐标对齐的马赛克格式的挑战。
• 支持大规模星图生成的按需和收集式网格计算，最大限度减少冗余计算。
• 通过虚拟数据建模支持数据产品溯源跟踪和动态更新。
• 通过超越目录融合的图像联邦化，建立天文学中以数据为中心的知识提取新范式。

提出的方法

• 利用 Hyperatlas 标准定义将天球面离散、无畸变地投影到平面上，像素尺度以每像素 2 的幂次弧秒表示。
• 采用 IVOA 简单图像访问协议（SIAP）从分布式源发现并检索符合 NVO 标准的图像数据。
• 利用网格计算基础设施（如 Teragrid、Condor、PBS）将重采样和马赛克任务分发并行化到地理上分散的资源上。
• 集成两个可信的重采样内核——Montage（NASA/IPAC/JPL）和 Swarp（Terapix）——以执行图像重投影、背景减除和联合叠加，同时控制退化程度。
• 使用存储资源代理（SRB）将计算出的马赛克图像存储在分布式虚拟文件系统中，实现持久缓存和高效检索。
• 应用一种虚拟数据模型，将数据产品视为可执行配方，当底层数据或校准发生变化时可动态重新生成。

实验结果

研究问题

• RQ1 如何系统性地将多波长、多分辨率的天文图像合并为共坐标对齐、科学有效的星图？
• RQ2 何种计算架构能够实现高效、可扩展且容错的、使用网格资源生成 TB 级天球星图？
• RQ3 图像联邦化在多大程度上能揭示在单个调查或其目录化数据中不明显的新型天体物理学洞见？
• RQ4 在大规模、分布式图像马赛克工作流中，如何保持溯源性、可重现性和动态更新？
• RQ5 对于设计用于交互式和批量星图生成的系统，按需和收集式网格执行模式能否有效共存？

主要发现

• Atlasmaker 使用 Hyperatlas 标准，成功从 2MASS、SDSS 和 DPOSS 等调查中生成多波长、共坐标对齐的天球图。
• 该系统支持按需和收集式网格执行，能够高效利用异构计算资源进行大规模星图创建。
• 通过使用可信的重采样工具（Montage 和 Swarp），Atlasmaker 在重采样过程中对 PSF、天体测量和流量的退化程度保持可控，同时维持可接受的图像质量。
• 计算出的马赛克图像存储在基于 SRB 的分布式虚拟文件系统中，支持持久缓存和重用，减少冗余计算。
• 虚拟数据模型允许在底层数据或校准发生变化时动态重新生成下游数据产品，从而提高可重现性。
• Atlasmaker 已集成到 Palomar-Quest 综合调查数据处理流水线中，证明了其在联合目标检测和数据挖掘方面的实际应用潜力。