[論文レビュー] Data Management At the UKIRT and JCMT

Tim Jenness, Frossie Economou|arXiv (Cornell University)|Nov 24, 2011

Astronomy and Astrophysical Research参考文献 27被引用数 6

ひとこと要約

本論文は、UKIRTおよびJCMT望遠鏡のための統合型データ管理システムを提示する。このシステムは、機器に依存しない自動データ還元を可能にするORAC-DRパイプラインフレームワークに中心を置き、再利用可能な処理プリミティブを用いて、機器に依存しない自動データ還元を実現する。システムはリアルタイムおよびオフライン処理をサポートし、NDG/Provenanceを用いたプロバンセンス追跡と、柔軟なスケジューリングおよび科学アーカイブとの統合を実現しており、還元済みデータが数時間以内に提供可能となり、天文学者および機器科学者によるフィードバックループの著しい改善が達成された。

ABSTRACT

For more than a decade the Joint Astronomy Centre has been developing software tools to simplify observing and make it possible to use the telescopes in many different operational modes. In order to support remote operations the data handling systems need to be in place to allow observation preparation, flexible queue scheduling, data quality pipelines and science archives all to be connected in a data-driven environment. We discuss the history of these developments at UKIRT and JCMT and how the decision to combine software development at both telescopes led each to get features that they could not have justified if they were treated independently.

研究の動機と目的

• UKIRTおよびJCMTのレガシーデータ還元システムに見られる再利用性および保守性の欠如を是正すること。これらは機器に依存しており、拡張が困難であった。
• 両望遠鏡間で開発コストを削減し、機能の展開を迅速化するための共有ソフトウェアインfra構築を目的とする。
• 最小限のユーザー介入で高速かつ自動化されたデータ還元を実現し、リモート観測およびキュー順序スケジューリングを支援すること。
• 科学的データ製品のプロバンセンスを、完全に再現可能かつ監査可能であるように、アーカイブ全体にわたって追跡すること。
• サミットでのデータ品質評価とアーカイブ処理の間のフィードバックループを閉じ、機器の問題に対して迅速に対応できるようにすること。

提案手法

• フラットフィールディングや画像合成といった高レベルのデータ処理操作を表す再利用可能な「プリミティブ」を用いた、汎用的かつ機器に依存しないパイプラインフレームワークとしてのORAC-DRの設計。
• 自動履歴および分散伝播を含む、低レベルのピixe処理のためのスターリンクソフトウェアコンポーネント（例：ADAMメッセージバス、NDF、NDG）の統合。
• 各機器ごとにメタデータ、ファイル名、キャリブレーション知識をカプセル化するフレームオブジェクトの使用により、動的かつ柔軟なデータ処理を実現。
• 人間が読みやすいレシピがプリミティブとパラメータを組み合わせる仕組みを採用。パーサーが動的にパイプラインを構築・キャッシュし、実行可能にする。
• レシピやプリミティブの論理を変更せずに、実行時において自動ステータス処理、デバッグ、タイミングコードをパイプラインに埋め込む。
• NDGライブラリを拡張し、パイプラインから出力ファイルへのプロバンセンスの自動的かつ透明な伝播を可能にした。プロバンセンスのルートはパイプラインによって生成され、処理チェーン全体にわたって追跡される。

実験結果

リサーチクエスチョン

• RQ1 複数の望遠鏡にまたがり、異なる機器および運用モードを持つ環境において、1つの再利用可能なデータ還元パイプラインフレームワークを設計するにはどうすればよいか？
• RQ2 パフォーマンスと拡張性を維持しつつ、自動的かつ機器に依存しないデータ還元を実現するためのアーキテクチャパターンとは何か？
• RQ3 複雑な処理チェーン全体にわたって、アプリケーションレベルのボイラープレートを追加せずに、科学的データ製品のプロバンセンスをエンドツーエンドで追跡するにはどうすればよいか？
• RQ4 統合型データ管理システムは、観測者、機器科学者、および科学アーカイブの間のフィードバックサイクルをどのように改善するか？
• RQ5 異なる観測モードとデータ特性を持つ2つの大型レガシーテレスコープ間での共有ソフトウェア開発から得られる利点は何か？

主な発見

• ORAC-DRパイプラインにより、再利用可能なプリミティブを用いた完全な自動化と機器に依存しないデータ還元が実現され、機器に特化したコードの必要性が著しく低下し、開発が加速した。
• NDGライブラリを用いたプロバンセンス追跡が成功裏に実装され、個々の処理アプリケーションを変更せずに、入力から出力へのラインレージの自動伝播が可能になった。
• すべてのメタデータ、履歴、プロバンセンスがFITSヘッダーに格納され、科学アーカイブからアクセス可能であるため、データ処理の完全な透明性が達成された。
• データ品質のフィードバックループが確立された。サミットで「不良」または「不適切」とマークされた観測データはアーカイブ処理の対象から除外され、データの整合性が向上した。
• パイプラインにより、観測後数時間以内に還元済みデータが提供可能となり、天文学者が次の観測ランの前に科学計画を調整できるようになった。
• UKIRTとJCMT間での共有開発により、相互に利益が生じ、1つの望遠鏡用に開発された機能が他方の望遠鏡でも利用可能となり、効率化とコスト削減が達成された。