[论文解读] Hierarchical progressive surveys. Multi-resolution HEALPix data structures for astronomical images, catalogues, and 3-dimensional data cubes

P. Fernique, M. Allen+9 more|NPARC|May 9, 2015

Galaxies: Formation, Evolution, Phenomena参考文献 64被引用 30

一句话总结

本文介绍了分层渐进式调查（HiPS），一种基于HEALPix的多分辨率数据结构，用于组织天文图像、星表和三维数据立方体。通过利用HEALPix对天球进行分层镶嵌，HiPS实现了对跨不同巡天项目、规模达拍字节级别的数据集的高效、互操作性访问、可视化与分析，目前已部署并集成超过180个HiPS数据集，应用于Aladin和Aladin Lite等工具中。

ABSTRACT

Scientific exploitation of the ever increasing volumes of astronomical data requires efficient and practical methods for data access, visualisation, and analysis. Hierarchical sky tessellation techniques enable a multi-resolution approach to organising data on angular scales from the full sky down to the individual image pixels. Aims. We aim to show that the Hierarchical progressive survey (HiPS) scheme for describing astronomical images, source catalogues, and three-dimensional data cubes is a practical solution to managing large volumes of heterogeneous data and that it enables a new level of scientific interoperability across large collections of data of these different data types. Methods. HiPS uses the HEALPix tessellation of the sphere to define a hierarchical tile and pixel structure to describe and organise astronomical data. HiPS is designed to conserve the scientific properties of the data alongside both visualisation considerations and emphasis on the ease of implementation. We describe the development of HiPS to manage a large number of diverse image surveys, as well as the extension of hierarchical image systems to cube and catalogue data. We demonstrate the interoperability of HiPS and Multi-Order Coverage (MOC) maps and highlight the HiPS mechanism to provide links to the original data. Results. Hierarchical progressive surveys have been generated by various data centres and groups for ~200 data collections including many wide area sky surveys, and archives of pointed observations. These can be accessed and visualised in Aladin, Aladin Lite, and other applications. HiPS provides a basis for further innovations in the use of hierarchical data structures to facilitate the description and statistical analysis of large astronomical data sets.

研究动机与目标

• 应对来自巡天项目和档案库的拍字节级、异构天文数据集日益增长的管理与互连挑战。
• 克服由于空间覆盖不一致、文件格式和元数据标准不统一导致的数据发现、可视化与分析局限性。
• 开发一种统一、可扩展且可扩展的数据模型，在保持科学完整性的同时支持高效的多分辨率访问。
• 通过统一的分层框架，实现图像巡天、源星表和三维数据立方体之间的互操作性。
• 通过与现有虚拟天文学台标准和工具（如MOC地图和Aladin）无缝集成，促进广泛科学应用。

提出的方法

• 采用HEALPix球面镶嵌技术，在天球上定义一种分层的、多分辨率的像素与瓦片网格。
• 将HiPS数据组织为瓦片与像素的分层结构，其中每一层代表下层数据的粗略汇总。
• 使用HiPS框架编码图像、星表和三维立方体数据，同时保留科学元数据和空间保真度。
• 采用多阶覆盖（MOC）地图概念描述天区覆盖范围，支持跨数据集的区域查询。
• 在HiPS元数据中嵌入对原始数据文件的直接链接，确保数据溯源并实现对原始数据的无缝访问。
• 以轻量级、人类与机器均可读的格式（如FITS、XML、JSON）实现HiPS系统，以实现广泛兼容性和部署便捷性。

实验结果

研究问题

• RQ1 基于HEALPix的分层多分辨率数据结构能否实现对图像、星表和三维立方体等多样化天文数据类型的高效、可扩展访问？
• RQ2 HiPS如何在保持科学准确性的前提下，支持异构数据集合之间的互操作性，特别是跨不同波段、天区覆盖模式和数据格式的情况？
• RQ3 HiPS在多大程度上能够促进大规模天区巡天（包括部分天区与全天数据）的统计分析与可视化？
• RQ4 HiPS能否有效扩展以处理超大星表（例如10^9至10^12个源）并实现高效的索引与检索？
• RQ5 HiPS与MOC地图的集成如何增强虚拟天文学台服务中跨数据集查询与基于区域的分析能力？

主要发现

• 已有多个数据中心和项目生成了超过180个HiPS数据集，覆盖从数平方度到全天覆盖的广泛巡天范围。
• HiPS在Aladin和Aladin Lite中实现了对大型天文数据集的高效可视化与访问，由于采用渐进式加载，无文件大小限制。
• 该方法支持带有光谱或时间轴的三维数据立方体，可实现对多拍字节立方体集合的可视化与管理。
• 已成功使用HiPS星表结构管理包含高达2 × 10^9个源的星表，证明了其可扩展性。
• HiPS与MOC地图的集成支持在图像、立方体和星表之间进行强大的跨数据集对比与基于区域的查询。
• HiPS提供对原始数据文件的直接嵌入式链接，确保数据溯源，并支持通过分层结构无缝访问原始数据。