[論文レビュー] The Herschel Data Processing System - HIPE and Pipelines - Up and Running Since the Start of the Mission

Stephan Ott, Centre, Herschel Science+1 more|arXiv (Cornell University)|Nov 4, 2010

Astronomical Observations and Instrumentation被引用数 46

ひとこと要約

ハーシェルデータ処理システム（HIPEおよびパイプライン）により、打ち上げ直後30分以内に科学データを迅速かつエンド・トゥ・エンドで処理でき、初期ミッション運用段階で完全な成熟を示した。これは、すべてのハーシェル機器にわたるデータ取得、パイプライン実行、科学的分析を統合したオープンソースでJavaベースの環境を提供し、ミッション開始直後から天文学コミュニティに対して一貫性があり高品質なデータ製品を提供した。

ABSTRACT

The Herschel Space Observatory is the fourth cornerstone mission in the ESA science programme and performs photometry and spectroscopy in the 55 - 672 micron range. The development of the Herschel Data Processing System started in 2002 to support the data analysis for Instrument Level Tests. The Herschel Data Processing System was used for the pre-flight characterisation of the instruments, and during various ground segment test campaigns. Following the successful launch of Herschel 14th of May 2009 the Herschel Data Processing System demonstrated its maturity when the first PACS preview observation of M51 was processed within 30 minutes of reception of the first science data after launch. Also the first HIFI observations on DR21 were successfully reduced to high quality spectra, followed by SPIRE observations on M66 and M74. A fast turn-around cycle between data retrieval and the production of science-ready products was demonstrated during the Herschel Science Demonstration Phase Initial Results Workshop held 7 months after launch, which is a clear proof that the system has reached a good level of maturity. We will summarise the scope, the management and development methodology of the Herschel Data Processing system, present some key software elements and give an overview about the current status and future development milestones.

研究の動機と目的

• ミッション開始直後から成熟し、統合的かつ使いやすいデータ処理システムを構築すること。
• 飛行運用を模倣するシステムを用いて、打ち上げ前の機器の特徴評価および地上試験を支援すること。
• 天文学コミュニティが機器専門家と同一の処理ツールとデータ製品にアクセスできることを保証すること。
• 自動化されたパイプラインと統合処理環境を用いて、科学的に利用可能なデータ製品の迅速な提供を可能にすること。
• ミッションの日常的科学運用期間にわたり、スケーラブルでポータブルかつオープンソースのシステムを確立すること。

提案手法

• データ処理用のJava/Jythonベースでクロスプラットフォーム対応のGUIおよびスクリプト駆動インターフェースであるハーシェル相互処理環境（HIPE）を開発した。
• データ取得、パイプライン実行、キャリブレーション、品質管理、科学的分析を統合した一貫性のあるシステムに統合した。
• ハーシェル科学アーカイブ（HSA）へのデータストレージ、照会、共有、直接アクセスを管理する製品アクセスレイヤーを実装した。
• ESACのコンピューティンググリッドに自動パイプラインを展開し、レベル0（生のテレメトリ）、レベル1（キャリブレート済み検出器データ）、レベル2（科学的にキャリブレートされた画像、スペクトル、キューブ）の製品を生成した。
• 欧州宇宙機関（ESA）、機器制御センター、およびナサが関与する200人以上の貢献者と60人のフルタイム換算の開発モデルを採用した。
• Windows、Linux、Mac OS Xを含む複数のオペレーティングシステムの正式なサポートを提供し、バージョン管理されたリリースにより後方および前方互換性を確保した。

実験結果

リサーチクエスチョン

• RQ1 主要な宇宙ミッションの初期運用段階に間に合わせて、統合的かつスケーラブルで使いやすいデータ処理システムをどのように開発・展開できるか？
• RQ2 1つのソフトウェア環境（HIPE）が、熟練したスクリプト作成者とプログラミング経験のない天文学研究者との両方を効果的に支援できるか？
• RQ3 打ち上げ直後30分以内にハーシェルデータを処理する際、どのようなパフォーマンスと信頼性が達成可能か？
• RQ4 データ品質管理を自動処理と専門家レビューと効率的に統合し、データ整合性を保証できるか？
• RQ5 長期的な保守性とコミュニティによるアクセスを保証する開発および展開モデルとは何か？

主な発見

• 最初のPACSによるM51観測が、データ受信後30分以内に科学的に利用可能な画像に処理され、システムの運用準備の確立を証明した。
• HIFIの初光観測（DR21）では、インタラクティブなHIPE環境と標準パイプラインの両方を用いて、COおよびH2O線の高品質スペクトルが得られた。
• SPIREの初光観測（M66およびM74）は、HIPEおよび運用パイプラインの両方を用いて正常に低減され、システムの堅牢性が確認された。
• システムにより、NGC6543におけるPACS画像分光観測が迅速に処理され、PACS/SPIRE同時観測モードによる銀河の新たな詳細が明らかにされた。
• HIPE 1.1はパフォーマンス検証フェーズ用にリリースされ、HIPE 1.2は科学的デモンストレーションフェーズのデータ製品に使用され、一貫した進捗が示された。
• HIPE 2.0は2009年末までにテスト段階にあり、来年初頭にコミュニティリリースを予定しており、今後は定期的な3か月ごとのリリースサイクルが計画されている。