[论文解读] Is HDF5 a good format to replace UVFITS?

Danny C. Price, Benjamin R. Barsdell+1 more|arXiv (Cornell University)|Nov 3, 2014

Fluorine in Organic Chemistry参考文献 3被引用 5

一句话总结

本文评估了HDF5作为射电天文领域UVFITS的替代方案，提出将FITS数据模型直接映射到HDF5，以在保持兼容性的同时利用HDF5在I/O、压缩和可扩展性方面的优越性能。作者实现了工具（fits2hdf 和 ms2hdf），将UVFITS和MeasurementSet数据转换为HDF5，损失极小，使用bitshuffle在7.5秒内实现1.65倍压缩，相比gzip在53秒内实现1.40倍压缩，性能提升1.40倍。

ABSTRACT

The FITS (Flexible Image Transport System) data format was developed in the late 1970s for storage and exchange of astronomy-related image data. Since then, it has become a standard file format not only for images, but also for radio interferometer data (e.g. UVFITS, FITS-IDI). But is FITS the right format for next-generation telescopes to adopt? The newer Hierarchical Data Format (HDF5) file format offers considerable advantages over FITS, but has yet to gain widespread adoption within radio astronomy. One of the major holdbacks is that HDF5 is not well supported by data reduction software packages. Here, we present a comparison of FITS, HDF5, and the MeasurementSet (MS) format for storage of interferometric data. In addition, we present a tool for converting between formats. We show that the underlying data model of FITS can be ported to HDF5, a first step toward achieving wider HDF5 support.

研究动机与目标

• 解决FITS和UVFITS在处理下一代射电天文数据集时的局限性。
• 评估HDF5作为存储可视数据的可行替代方案，因其先进的存储模型和性能特性。
• 通过将FITS和MeasurementSet数据模型映射到HDF5，无需修改现有软件，实现向后兼容。
• 开发实用工具，实现FITS、MS和HDF5格式之间的转换，实现无缝数据迁移。
• 证明HDF5能够在支持现有天文数据惯例的同时，提升效率和可扩展性。

提出的方法

• 将FITS HDU映射为HDF5组，FITS卡片映射为HDF5属性，FITS数据负载映射为HDF5数据集。
• 使用PyFITS和h5py实现基于Python的工具fits2hdf，将任意有效FITS文件转换为HDF5，采用标准化的HDFITS数据模型。
• 在HDF5中使用bitshuffle过滤器，优化可视数据的压缩，利用其在科学数据上的高效性。
• 通过ms2hdf实用工具，在HDF5中创建HDF-MS数据模型，将转换管道扩展至支持MeasurementSet（MS）格式。
• 通过仅保留HDF5的受限子集，确保可逆性，实现无损转换回FITS或MS。
• 使用1.2 GB的LEDA相关器数据集验证该方法，比较压缩比和写入时间。

实验结果

研究问题

• RQ1 是否能有效将可视数据的FITS数据模型映射到HDF5数据模型，同时不破坏兼容性？
• RQ2 与FITS相比，HDF5在射电干涉数据的I/O性能和数据压缩方面是否表现出可测量的改进？
• RQ3 现有数据还原软件是否可经过最少修改即可读取HDF5存储的可视数据？
• RQ4 bitshuffle过滤器在真实世界射电天文数据集上的HDF5性能如何？
• RQ5 在从UVFITS和MeasurementSet迁移到HDF5的过程中，是否可行保持向后兼容？

主要发现

• HDF5通过结构化映射支持FITS和MeasurementSet数据模型，保留数据语义并实现无损转换。
• 使用bitshuffle过滤器，HDF5在7.5秒内对1.2 GB可视数据集实现1.65倍压缩比，优于gzip在53.0秒内实现的1.40倍压缩比。
• fits2hdf和ms2hdf工具成功将UVFITS和MeasurementSet文件转换为HDF5，同时保持数据完整性并支持反向转换。
• HDF5原生支持并行I/O、数据分块和外部存储，使其非常适合大规模下一代射电望远镜数据。
• HDFITS数据模型是HDF5的受限子集，确保任何HDFITS文件均可无损转换回FITS。
• 本研究证明，HDF5可作为可扩展、高效且可扩展的UVFITS替代方案，而无需对现有软件生态系统进行彻底重构。