[論文レビュー] The Astro-WISE Optical Image Pipeline: Development and Implementation

John McFarland, Gijs Verdoes-Kleijn+4 more|arXiv (Cornell University)|Oct 11, 2011

Astronomical Observations and Instrumentation参考文献 8被引用数 39

ひとこと要約

本論文では、WFI や OmegaCAM などの機器からの広視野天文学的データを処理する分散型で統合されたシステム、Astro-WISE 光学画像パイプラインを提示する。このシステムは、生データから科学的利用に適したカタログに至るまでエンドツーエンドの処理を可能にし、完全なデータ履歴追跡を実現することで、再現性、品質管理、および大規模な調査（KIDS、Vesuvio、OmegaTrans など）における長期的キャリブレーション再利用性を確保する。

ABSTRACT

We have designed and implemented a novel way to process wide-field astronomical data within a distributed environment of hardware resources and humanpower. The system is characterized by integration of archiving, calibration, and post-calibration analysis of data from raw, through intermediate, to final data products. It is a true integration thanks to complete linking of data lineage from the final catalogs back to the raw data. This paper describes the pipeline processing of optical wide-field astronomical data from the WFI (http://www.eso.org/lasilla/instruments/wfi/) and OmegaCAM (http://www.astro-wise.org/~omegacam/) instruments using the Astro-WISE information system (the Astro-WISE Environment or simply AWE). This information system is an environment of hardware resources and humanpower distributed over Europe. AWE is characterized by integration of archiving, data calibration, post-calibration analysis, and archiving of raw, intermediate, and final data products. The true integration enables a complete data processing cycle from the raw data up to the publication of science-ready catalogs. The advantages of this system for very large datasets are in the areas of: survey operations management, quality control, calibration analyses, and massive processing.

研究の動機と目的

• WFI や OmegaCAM などの機器から得られるペタバイトスケールの光学画像調査の管理と処理という、増大する課題に対処すること。
• 生データから最終カタログに至るすべての処理段階を完全なデータ履歴で結びつける分散型で統合されたシステムを構築すること。
• キャリブレーション済みデータの長期的保存と再処理を可能にし、進化する科学的ニーズに応えること。
• スケーラブルで協働的な環境において、調査運用、品質管理、大規模データ処理を支援すること。

提案手法

• Astro-WISE 環境（AWE）は、ヨーロッパの分散型ハードウェアおよび人的リソースにまたがるアーカイブ、キャリブレーション、および後処理分析を統合する。
• データ履歴は、生フレームから中間製品、最終カタログに至るまで完全に追跡され、完全な再現性と監査可能性を実現する。
• コンテキストベースのアクセスモデルを採用し、権限レベルと有効性フラグ（is_valid、quality_flags、タイムスタンプ）を用いてデータ製品の可視性と処理を制御する。
• 南天のデータを整理・統合するために、95本の赤緯帯からなるスカイグリッドが使用され、1°×1°のフィールドが4–8%の重複を含んで配置され、統合とモザイキングに最適化されている。
• キャリブレーションプロセスはバージョン管理されており、プロジェクトごとにカスタマイズ可能で、科学者がプロジェクト固有のキャリブレーションを適用しながらも、元のデータの完全性を保つことができる。
• パイプラインは自動品質管理とインタラクティブな検査をサポートしており、科学者が処理チェーン全体を前後して移動できる。

実験結果

リサーチクエスチョン

• RQ1 広視野天文学的データのライフサイクル（生フレームから科学的利用に適したカタログまで）を効率的かつスケーラブルに管理する分散型システムを設計するには、どのようなアーキテクチャとメタデータメカニズムが必要か？
• RQ2 大規模な調査処理において完全なデータ履歴と再現性を確保するために必要なアーキテクチャ的およびメタデータ的メカニズムは何か？
• RQ3 大規模データセットにおいて品質管理を自動化し、同時にインタラクティブに操作可能にしつつ、生データへの完全なトレーサビリティを保つにはどうすればよいか？
• RQ4 初期観測から何年も経過した後でも、新しい科学的用途のためにキャリブレーション済みデータの再処理を可能にするには、どのようなインfrastrutureが必要か？
• RQ5 データ完全性やセキュリティを損なわずに、複数のプロジェクトが共同で作業する環境において、アクセス制御とデータ可視性をどのように管理すればよいか？

主な発見

• Astro-WISE パイプラインは、WFI や OmegaCAM の機器からのデータを正常に処理し、KIDS、Vesuvio、OmegaWhite、OmegaTrans といった主要な調査の基盤を形成した。
• 完全なデータ履歴追跡が実現され、すべての最終カタログが完全なメタデータおよびプロセス設定とともに、元の生データにまで遡れるようになった。
• アーカイブ、キャリブレーション、分析を統合した環境への統合により、処理のボトルネックが軽減され、複数の調査プロジェクト間での一貫性が向上した。
• 95本の赤緯帯からなるスカイグリッドの活用により、広視野データの効率的な統合とモザイキングが可能となり、赤緯に応じて3%～16%の重複が確保された。
• コンテキストベースのアクセスと有効性フラグシステムにより、セキュアでプロジェクト固有の処理が可能になり、データ完全性が保たれるとともに、新しい科学的用途のための再処理が可能になった。
• パイプラインは、1日あたりテラバイトスケールのデータ処理を扱う能力を示し、将来的な調査（LSST など）におけるペタバイトスケールの要件に対応する準備が整った。