[論文レビュー] Using Binary File Format Description Languages for Documenting, Parsing, and Verifying Raw Data in TAIGA Experiment

Igor Bychkov, Andrey Demichev+14 more|arXiv (Cornell University)|Dec 4, 2018

Distributed and Parallel Computing Systems被引用数 4

ひとこと要約

本論文では、高エネルギー宇宙線実験TAIGAにおける生データの形式的文書化、解析、検証のため、バイナリーファイルフォーマット記述言語の使用を提案する。5つのデータフォーマットについて形式的仕様を実装し、C++、Java、Pythonにおける型セーフで高速なデータ読み込みライブラリの自動生成を可能にした。これにより、データ整合性の検査が向上し、損傷したデータセグメントの検出が可能になった。

ABSTRACT

The paper is devoted to the issues of raw binary data documenting, parsing and verifying in astroparticle data lifecycle. The long-term preservation of raw data of astroparticle experiments as originally generated is essential for re-running analyses and reproducing research results. The selected high-quality raw data should have detailed documentation and accompanied by open software tools for access to them. We consider applicability of binary file format description languages to specify, parse and verify raw data of the Tunka Advanced Instrument for cosmic rays and Gamma Astronomy (TAIGA) experiment. The formal specifications are implemented for five data formats of the experiment and provide automatic generation of source code for data reading libraries in target programming languages (e.g. C++, Java, and Python). These libraries were tested on TAIGA data. They showed a good performance and help us to locate the parts with corrupted data. The format specifications can be used as metadata for exchanging of astroparticle raw data. They can also simplify software development for data aggregation from various sources for the multi-messenger analysis.

研究の動機と目的

• 高エネルギー宇宙線物理学実験における生バイナリーデータの長期的保存と再現可能性の課題に対処すること。
• TAIGA実験で使用される複雑なバイナリーデータフォーマットを形式的かつ機械可読な方法で文書化する手法を開発すること。
• 形式的仕様から自動的に信頼性が高く型セーフなデータ解析ライブラリを生成すること。
• 形式的検証を用いてバイナリーデータ構造の破損を検出できること。
• 異種のデータソース間で統一されたデータフォーマットメタデータを提供し、マルチメッセンジャーデータ解析を支援すること。

提案手法

• TAIGA実験で使用される5つの生データフォーマットの構造を定義するために、バイナリーファイルフォーマット記述言語を採用すること。
• 形式的仕様を用いて、C++、Java、Pythonにおけるデータ読み込みライブラリを自動生成すること。
• 実際のTAIGAデータを用いて生成されたライブラリの解析精度とパフォーマンスを評価すること。
• 形式的仕様を活用し、解析中に不整合や損傷したデータセグメントを検出すること。
• フォーマット仕様をメタデータとして表現し、マルチメッセンジャーアストロフィクスにおけるデータ交換と相互運用性を支援すること。
• 仕様言語をデータライフサイクルに統合し、収集から長期保存に至るまでの一貫性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 形式的バイナリーフォーマット記述言語は、高エネルギーアストロフィクス実験における生データアクセスの信頼性と保守性を向上させ得るか？
• RQ2 形式的仕様からの自動コード生成は、データ解析ライブラリにおける誤りをどの程度削減できるか？
• RQ3 形式的仕様は、解析中に破損または不正なバイナリーデータをどの程度効果的に検出できるか？
• RQ4 このような仕様は、マルチメッセンジャーアストロノミーにおける実験間データ交換のための標準メタデータとして機能できるか？
• RQ5 形式的に指定されたデータ解析に、手書きコードと比較してどの程度のパフォーマンスオーバーヘッドが生じるか？

主な発見

• 形式的仕様により、C++、Java、Pythonにおける正しく構築された（correct-by-construction）データ読み込みライブラリの自動生成が可能になった。
• 生成されたライブラリは高いパフォーマンスを示し、実際のTAIGAデータを用いたテストでも成功した。
• 形式的アプローチにより、解析中に損傷したデータセグメントを検出でき、データ品質保証が向上した。
• 仕様が機械可読メタデータとして機能し、異なる実験間でのデータ交換と統合を容易にした。
• この手法により、解析エラーのリスクが低減され、TAIGA実験における長期的データ再現性が向上した。
• 本手法は、マルチメッセンジャーデータ集約のためのスケーラブルで保守性の高いソフトウェア開発を支援する。