[论文解读] A Tiled-Table Convention for Compressing FITS Binary Tables

W. D. Pence, R. Seaman+1 more|arXiv (Cornell University)|Jan 6, 2012

Algorithms and Data Compression参考文献 1被引用 5

一句话总结

本文提出了一种适用于FITs二进制表的分块表压缩规范，通过将数据转置为列主序、对数值列进行字节重排，并对每列应用无损压缩（例如gzip），从而提高压缩效率。该方法在某些天文表上实现了高达22.6倍的压缩比，相较于标准gzip平均节省1.5倍磁盘空间，仅带来约50%的CPU时间增加。

ABSTRACT

This document describes a convention for compressing FITS binary tables that is modeled after the FITS tiled-image compression method (White et al. 2009) that has been in use for about a decade. The input table is first optionally subdivided into tiles, each containing an equal number of rows, then every column of data within each tile is compressed and stored as a variable-length array of bytes in the output FITS binary table. All the header keywords from the input table are copied to the header of the output table and remain uncompressed for efficient access. The output compressed table contains the same number and order of columns as in the input uncompressed binary table. There is one row in the output table corresponding to each tile of rows in the input table. In principle, each column of data can be compressed using a different algorithm that is optimized for the type of data within that column, however in the prototype implementation described here, the gzip algorithm is used to compress every column.

研究动机与目标

• 开发一种标准化、高效的无损压缩方法，用于大型FITs二进制表，同时保持数据完整性。
• 在保持快速头部访问和随机行访问能力的同时，减少天文数据的磁盘存储需求。
• 将已验证的分块图像压缩模型扩展至二进制表，支持按列的压缩策略。
• 评估字节重排和按列压缩在真实天文FITs二进制表上的性能表现。
• 提供原型实现与基准测试结果，以促进在天文数据系统中的应用。

提出的方法

• 可选地将输入的FITs二进制表划分为若干个块，每个块包含固定行数，最后一个块可能较小。
• 将数据从行主序转置为列主序，从而实现对同类型数据的高效按列压缩。
• 使用选定算法（例如GZIP_1或GZIP_2）对每列数据进行压缩，算法名称存储在ZCTYPn关键字中。
• 将压缩后的字节流存储在输出表的变长数组中（TFORMn = '1PB'），每条输出行对应一个输入块。
• 若存在堆，则单独对堆进行字节重排和压缩，并通过ZHEAPPTR关键字记录其位置。
• 所有原始头部关键字均原样保留以支持快速访问，仅结构关键字（如NAXIS1、NAXIS2）更新以反映压缩后的表结构。

实验结果

研究问题

• RQ1 与标准gzip相比，通过数据转置和字节重排实现的按列压缩，在FITs二进制表压缩比方面有何提升？
• RQ2 该压缩方法在CPU时间和内存使用方面的性能开销如何？
• RQ3 当表较小时，该方法在头部大小不可忽略的情况下效果如何？
• RQ4 能否在特定列上安全地应用有损压缩而不影响科学数据的完整性？
• RQ5 该方法在应用于多样化天文数据集时的实际限制是什么？

主要发现

• 包含字节重排的GZIP_2方法，平均比标准gzip压缩节省1.5倍的磁盘空间。
• 在最有利的数据集中，GZIP_2方法实现了22.59的压缩比，显著优于标准gzip（5.39）和GZIP_1（7.63）。
• 该方法所需CPU时间约为标准gzip的1.5倍，但随着代码优化，此差距有望缩小。
• 字节重排显著提升了大多数表的压缩效果，但在一个数据集（文件11）中反而导致压缩效果变差，该数据集行间数值几乎完全相同，表明其对数据特性敏感。
• 对于小表而言，该方法效果较差，因为头部和块对齐的开销在总数据大小中占比显著。
• 原型实现表明，结合转置与重排的按列压缩在多样化天文FITs表中是可行且有效的。