[論文レビュー] LOFAR and HDF5: Toward a New Radio Data Standard

Kenneth Anderson, A. Alexov+4 more|arXiv (Cornell University)|Dec 10, 2010

Astronomical Observations and Instrumentation被引用数 6

ひとこと要約

本論文では、階層的でカスタマイズ可能なファイル構造を通じて、大規模で複雑なデータセットの効率的でスケーラブルな格納とアクセスを可能にする、LOFAR電波天文学データのスケーラブルで拡張可能なデータ標準としてHDF5を提案する。主な貢献は、ビーム形成データ、可視性データ、天の画像立方体といった主要な電波データ製品のための標準化されたHDF5ベースのフォーマットの開発であり、C++/Pythonによるデータアクセスライブラリ（DAL/pyDAL）の開発により、電波天文学プロジェクト全体における広範な相互運用性と将来の採用を確保する。

ABSTRACT

For decades now, scientific data volumes have experienced relentless, exponential growth. As a result, legacy astronomical data formats are straining under a burden not conceived when these formats were first introduced. With future astronomical projects ensuring this trend, ASTRON and the LOFAR project are exploring the use of the Hierarchical Data Format, version 5 (HDF5), for LOFAR radio data encapsulation. Most of LOFAR's standard data products will be stored using the HDF5 format. In addition, HDF5 analogues for traditional radio data structures such as visibility data and spectral image cubes are also being developed. The HDF5 libraries allow for the construction of distributed, entirely unbounded files. The nature of the HDF5 format further provides the ability to custom design a data encapsulation format, specifying hierarchies, content and attributes. The LOFAR project has designed several data formats that will accommodate and house all LOFAR data products, the primary styles and kinds of which are presented in this paper. With proper development and support, it is hoped that these data formats will be adopted by other astronomical projects as they, too, attempt to grapple with a future filled with mountains of data.

研究の動機と目的

• FITSSのようなレガシーフォーマットが対応できなくなる、急増する天文学的データ量の増大に伴う課題に対処する。
• LOFARの多様で高容量のデータ製品（ビーム形成データ、可視性データ、スペクトル立方体など）を処理できる、堅牢で拡張可能なデータ標準を開発する。
• 複雑なメタデータ、並列I/O、分散データ処理をサポートする、階層的でカスタマイズ可能なデータフォーマットをHDF5を用いて設計する。
• LOFARのHDF5ベースのデータフォーマットのシームレスな作成、アクセス、操作を可能にするソフトウェアインfra（特にData Access Library (DAL) およびそのPythonインターフェースpyDAL）を構築する。
• 特にSquare Kilometre Array (SKA)時代に備えて、HDF5を電波天文学分野における事実上の標準として広く採用する基盤を確立する。

提案手法

• 大規模かつ分散処理可能なファイルをサポートし、カスタムデータモデリングに拡張性を備えたHDF5を、階層的構造と併せて基盤データフレームワークとして採用する。
• ビーム形成データ、可視性データ、電波天の画像立方体、ダイナミックスペクトルなど、主なLOFARデータ製品のための特定のHDF5ベースのファイルフォーマットを設計する。
• インターフェース制御ドキュメント（ICD）を用いて、各データタイプごとに固有の文書IDを割り当て、標準化されたファイル階層とメタデータ構造を定義する。
• LOFARのHDF5データフォーマットへのプログラム的アクセスを提供するC++ Data Access Library (DAL) を実装し、高レベルスクリプト用にPythonラッパー（pyDAL）を提供する。
• h5py、PyTables、HDFView、IDLなどの既存のHDF5ツールとの統合により、プラットフォーム間での互換性と使いやすさを確保する。
• LOFAR HDF5データの可視化を可能にするために、DS9との未来のインターフェース開発を進める。

実験結果

リサーチクエスチョン

• RQ1 FITSSのようなレガシーフォーマットの制限を考慮すると、HDF5はLOFARのような次世代電波天文学プロジェクトにおけるスケーラブルで拡張可能なデータ標準として機能できるか？
• RQ2 可視性データ、ビーム形成データ、スペクトル立方体といった多様な電波天文学データ製品を、1つの一貫したフレームワーク内に統合できる、階層的でカスタマイズ可能なデータフォーマットはどのように設計できるか？
• RQ3 異なるプログラミング環境やツール間で、HDF5ベースの電波データに効率的かつポータブルかつ相互運用可能にアクセスするためのソフトウェアインフラは、どのようなものが必要か？
• RQ4 HDF5ベースのフォーマットは、LOFARを越えて、他のSKAパスファインダー計画や広範な電波天文学コミュニティにおいて、どの程度採用可能か？
• RQ5 DS9のような既存の天文学的ツールや可視化ソフトウェアは、HDF5ベースの電波データフォーマットをどの程度拡張して対応できるか？

主な発見

• LOFARのデータ量はフル構成時で1時間あたり最大26.8TBに達し、これにより、レガシーシステムを超えるスケーラブルなデータフォーマットの必要性が明確になった。
• HDF5は、制限のない分散ファイルの作成を可能にし、カスタム階層的データ構造の実装を可能にするため、LOFARの複雑で大量のデータ処理に最適である。
• LOFARプロジェクトでは、6つの主要データ製品について、標準化されたHDF5ベースのフォーマットを定義しており、それぞれが固有のインターフェース制御ドキュメント（ICD）を備えている。
• C++ Data Access Library (DAL) およびそのPythonインターフェースpyDALの開発により、すべてのLOFARデータ製品へのプログラム的アクセスが可能となり、拡張性と相互運用性が保証された。
• 本プロジェクトでは、すべてのICDおよびソフトウェアツールを公開しており、透明性を高め、他の電波天文学プロジェクトによる採用を促進している。
• 本取り組みにより、次世代のSKA時代に不可欠な、統一的かつコミュニティ全体で共有可能な電波データ標準の基盤が築かれた。これは、現在の電波天文学分野における有効な標準の欠如を解消するものである。