[論文レビュー] A Tiled-Table Convention for Compressing FITS Binary Tables

W. D. Pence, R. Seaman+1 more|arXiv (Cornell University)|Jan 6, 2012

Algorithms and Data Compression参考文献 1被引用数 5

ひとこと要約

この論文は、FITSBinaryテーブルのタイル化テーブル圧縮規約を導入し、データを列優先順序に転置し、数値列のバイトをシャッフルして、各列ごとに無損失圧縮（例：gzip）を適用することで、圧縮効率を向上させている。この手法は、特定の天文学的テーブルで最大22.6倍の圧縮比を達成し、標準のgzipと比較して平均で1.5倍のディスク節約効果を示したが、CPU時間は約50％増加する。

ABSTRACT

This document describes a convention for compressing FITS binary tables that is modeled after the FITS tiled-image compression method (White et al. 2009) that has been in use for about a decade. The input table is first optionally subdivided into tiles, each containing an equal number of rows, then every column of data within each tile is compressed and stored as a variable-length array of bytes in the output FITS binary table. All the header keywords from the input table are copied to the header of the output table and remain uncompressed for efficient access. The output compressed table contains the same number and order of columns as in the input uncompressed binary table. There is one row in the output table corresponding to each tile of rows in the input table. In principle, each column of data can be compressed using a different algorithm that is optimized for the type of data within that column, however in the prototype implementation described here, the gzip algorithm is used to compress every column.

研究の動機と目的

• データの正確性を損なわずに、大規模なFITSBinaryテーブルを効率的かつ標準化された方法で圧縮するための手法を開発すること。
• 天文学的データのディスク保存領域を削減しながら、ヘッダーの高速アクセスおよびランダムな行アクセスを維持すること。
• 実証済みのタイル化画像圧縮モデルをBinaryテーブルに拡張し、列ごとの圧縮戦略を可能にすること。
• 実際の天文学的FITSBinaryテーブルに対して、バイトシャッフルと列単位の圧縮のパフォーマンスを評価すること。
• 天文学的データシステムへの導入を想定し、プロトタイプ実装とベンチマーク結果を提供すること。

提案手法

• 入力のFITSBinaryテーブルは、オプションで、固定行数を有するタイルに分割され、最後のタイルはそれ以外のものより小さくなる可能性がある。
• データは行優先順序から列優先順序に転置され、同種のデータ型に対する各列ごとの効率的な圧縮が可能になる。
• 各列のデータは、選択されたアルゴリズム（例：GZIP_1 または GZIP_2）で圧縮され、アルゴリズム名はZCTYPnキーワードに格納される。
• 圧縮されたバイトストリームは、出力テーブルの可変長配列（TFORMn = '1PB'）に格納され、入力タイルごとに1つの出力行が対応する。
• （存在する場合）ヒープは別途バイトシャッフルされ、圧縮され、その位置はZHEAPPTRキーワードで追跡される。
• すべての元のヘッダーキーワードは、高速アクセスを可能にするためにそのままで保持され、構造的キーワード（例：NAXIS1, NAXIS2）のみが圧縮後のテーブル構造を反映するように更新される。

実験結果

リサーチクエスチョン

• RQ1 データの転置とバイトシャッフルを伴う列単位の圧縮は、標準のgzipと比較して、FITSBinaryテーブルの圧縮比をどの程度向上させるか？
• RQ2 本手法のCPU時間およびメモリ使用量のパフォーマンスオーバーヘッドはどの程度か？
• RQ3 ヘッダーのサイズが無視できないほど大きい小規模なテーブルにおいて、この手法の有効性はいかがなものか？
• RQ4 特定の列に対して損失圧縮を安全に適用しても、科学的整合性が損なわれないか？
• RQ5 多様な天文学的データセットに適用した場合、この手法の実用的限界はどこにあるか？

主な発見

• バイトシャッフルを含むGZIP_2手法は、標準のgzip圧縮と比較して、平均で1.5倍のディスク容量節約を達成した。
• 最も有利なデータセットでは、GZIP_2手法が22.59の圧縮比を達成したのに対し、標準のgzip（5.39）とGZIP_1（7.63）は著しく低い値であった。
• 本手法は、標準のgzipと比較して約50％のCPU時間の増加を要したが、コード最適化によりこのギャップは縮小すると予想される。
• バイトシャッフルは大多数のテーブルで圧縮を向上させたが、1つのデータセット（ファイル11）では値が行間でほぼ同一であったため、結果が悪化した。これは、データに依存する感受性を示している。
• ヘッダーとブロックアラインメントのオーバーヘッドがデータサイズに対して顕著になるため、小規模なテーブルでは本手法の有効性が低い。
• プロトタイプ実装は、転置とシャッフルを伴う列単位の圧縮が、多様な天文学的FITSBinaryテーブルにおいて実装可能で効果的であることを示した。