[論文レビュー] Is HDF5 a good format to replace UVFITS?

Danny C. Price, Benjamin R. Barsdell+1 more|arXiv (Cornell University)|Nov 3, 2014

Fluorine in Organic Chemistry参考文献 3被引用数 5

ひとこと要約

この論文は、電波天文学におけるUVFITSの代替手段としてHDF5を評価し、FITSDATAMODELをHDF5に直接マッピングすることで、互換性を保ちつつI/O、圧縮、スケーラビリティの面で優れた性能を発揮するようにする。著者らは、FITSDATAMODELをHDF5に変換するためのツール（fits2hdfおよびms2hdf）を実装し、最小限のデータ損失でUVFITSおよびMeasurementSetデータをHDF5に変換した。ビットシャッフルを用いることで7.5秒で1.65倍の圧縮を達成し、gzip（53秒で1.40倍）よりも1.40倍速い性能を示した。

ABSTRACT

The FITS (Flexible Image Transport System) data format was developed in the late 1970s for storage and exchange of astronomy-related image data. Since then, it has become a standard file format not only for images, but also for radio interferometer data (e.g. UVFITS, FITS-IDI). But is FITS the right format for next-generation telescopes to adopt? The newer Hierarchical Data Format (HDF5) file format offers considerable advantages over FITS, but has yet to gain widespread adoption within radio astronomy. One of the major holdbacks is that HDF5 is not well supported by data reduction software packages. Here, we present a comparison of FITS, HDF5, and the MeasurementSet (MS) format for storage of interferometric data. In addition, we present a tool for converting between formats. We show that the underlying data model of FITS can be ported to HDF5, a first step toward achieving wider HDF5 support.

研究の動機と目的

• 次世代の電波天文学データセットを扱う際のFITSおよびUVFITSの限界を解決すること。
• 高度なストレージモデルとパフォーマンス特徴を備えたHDF5を、可視性データの保存手段として実用的であるかを評価すること。
• 既存のソフトウェアに変更を加えずに、FITSおよびMeasurementSetのデータモデルをHDF5にマッピングすることで、後方互換性を確保すること。
• FITS、MS、HDF5間のフォーマット変換を円滑に行える実用的なツールを開発し、データ移行を容易にすること。
• HDF5が既存の天文学的データ規約を維持しつつ、効率性とスケーラビリティを向上させることを実証すること。

提案手法

• FITS HDUをHDF5のグループに、FITSカードをHDF5の属性に、FITSデータペイロードをHDF5のデータセットにマッピングする。
• PyFITSおよびh5pyを用いたPythonベースのツール、fits2hdfを実装し、任意の有効なFITSファイルを標準化されたHDFITSデータモデルにHDF5に変換する。
• 科学的データに適した効率性を活かし、可視性データの圧縮最適化にHDF5のビットシャッフルフィルタを活用する。
• ms2hdfユーティリティを用いて、HDF5内にHDF-MSデータモデルを定義することで、MeasurementSet（MS）フォーマットへの変換パイプラインを拡張する。
• HDF5の制限付きサブセットを維持することで、FITSまたはMSへの損失なしの逆変換を保証する。
• 1.2 GBのLEDAコリゲーター・データセットを用いて、圧縮比と書き込み時間を比較することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 可視性データのFITSデータモデルを、互換性を損なわずにHDF5データモデルに効果的にマッピングできるか？
• RQ2 HDF5は、電波干渉計測定データに対して、FITSに比べて測定可能なI/Oパフォーマンスの向上とデータ圧縮効果を提供するか？
• RQ3 既存のデータ低減ソフトウェアは、HDF5に格納された可視性データを最小限の変更で読み取れるか？
• RQ4 ビットシャッフルフィルタを用いたHDF5は、実世界の電波天文学データセットに対してどの程度のパフォーマンスを示すか？
• RQ5 UVFITSおよびMeasurementSetからHDF5への移行において、後方互換性を維持するのは現実的か？

主な発見

• HDF5フォーマットは、データの意味を保持し、損失なしの変換を可能にする構造的なマッピングにより、FITSおよびMeasurementSetのデータモデルをサポートする。
• ビットシャッフルフィルタを用いることで、1.2 GBの可視性データセットに対して7.5秒で1.65倍の圧縮比を達成した。これは、gzip（53.0秒で1.40倍）よりも1.40倍速い性能を示した。
• fits2hdfおよびms2hdfツールは、UVFITSおよびMeasurementSetファイルをHDF5に変換する際、データ整合性を維持するとともに、逆変換を可能にした。
• HDF5のネイティブな並列I/O、データチャンク化、外部ストレージサポートは、大規模な次世代電波望遠鏡データに適している。
• HDFITSデータモデルはHDF5の制限付きサブセットであるため、任意のHDFITSファイルはデータ損失なしにFITSに戻せる。
• 本研究では、HDF5が、既存のソフトウェアエコシステムを完全に見直す必要なく、スケーラブルで効率的かつ拡張可能なUVFITSの代替手段として機能できることを実証した。