[論文レビュー] Cherenkov Telescope Array Data Management

G. Lamanna, L. A. Antonelli+38 more|arXiv (Cornell University)|Sep 3, 2015

Astrophysics and Cosmic Phenomena被引用数 6

ひとこと要約

本論文は、非常に高エネルギー（VHE）ガンマ線データの効率的かつオープンな取り扱い、処理、公開アクセスを可能にする、チェレンコフ望遠鏡アレイ（CTA）データ管理システムの包括的な技術的設計を提示している。分散コンピューティングインfraストラクチャー（DCI）を活用し、4か国のデータセンターを設置し、リアルタイムでのデータ還元と統合された科学ゲートウェイを提供することで、公共の観測所運用および大規模なモンテカルロシミュレーションを支援する。高度なデータ還元とネットワーク最適化により、管理可能なデータエクスポートレートを実現している。

ABSTRACT

Very High Energy gamma-ray astronomy with the Cherenkov Telescope Array (CTA) is evolving towards the model of a public observatory. Handling, processing and archiving the large amount of data generated by the CTA instruments and delivering scientific products are some of the challenges in designing the CTA Data Management. The participation of scientists from within CTA Consortium and from the greater worldwide scientific community necessitates a sophisticated scientific analysis system capable of providing unified and efficient user access to data, software and computing resources. Data Management is designed to respond to three main issues: (i) the treatment and flow of data from remote telescopes; (ii) "big-data" archiving and processing; (iii) and open data access. In this communication the overall technical design of the CTA Data Management, current major developments and prototypes are presented.

研究の動機と目的

• チェレンコフ望遠鏡アレイ（CTA）から得られるペタバイトスケールのデータを効率的に管理・処理する課題に対処すること。
• CTAの施設（北3.2 GB/s、南5.4 GB/s）から得られる8.6 GB/sのデータレートを処理できるスケーラブルな分散データ管理システムを設計すること。20%のキャリブレーションデータと10 MB/sの制御データを含む。
• 中央集権的な科学データセンター（SDC）と科学ゲートウェイを通じて、グローバルな科学コミュニティがデータ、ソフトウェア、コンピューティングリソースにオープンかつ統一的かつ安全にアクセスできる仕組みを確保すること。
• Grid eインfraストラクチャーおよびミドルウェア（例：DIRAC、LifeRayベースのポータル）と統合し、大規模なモンテカルロシミュレーションおよび科学的解析を支援すること。
• ソフトウェア開発、キャリブレーション、データモニタリングのための能力センターを設置し、長期的なシステムメンテナンスとアップグレードを保証する持続可能な運用モデルを確立すること。

提案手法

• データアーカイブ、処理、シミュレーションの負荷を分散するため、4つの主要データセンター（DC1–DC4）を有する分散コンピューティングインfraストラクチャー（DCI）モデルを実装する。
• 建設段階中は、CTA施設に現地でのデータ還元パイプラインと一時保存を導入し、生データレートを10分の1に低減することで、エクスポートレートを0.32 GB/s（北）および0.54 GB/s（南）にまで低下させる。
• スケーラブルなモンテカルロシミュレーションおよび科学的データ処理パイプラインの生産に、DIRACワークフロー管理システムを活用する。
• LifeRayおよびWS-PRAGUE/gUSEフレームワークを用いて、ウェブベースの科学ゲートウェイを構築し、シングルサインオン、アプリケーション統合、ACIDデスクトップ環境を介したインタラクティブ分析を可能にする。
• 4つのデータセンター全体にわたるデータインジェスト、ワークフローオchestration、長期アーカイブを統括する、中央集権的な観測所データ管理センター（CTAO-DMC）を設立する。
• データ品質モニタリングおよびキャリブレーションデータの取り扱いをパイプラインに統合し、データライフサイクル全体にわたりデータの整合性とトレーサビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 遠隔に位置する国際的な望遠鏡から得られるペタバイトスケールのデータを、グローバルで公開可能な観測所としてCTAがどのように効率的に管理・配布できるか？
• RQ2 生データレートを8.6 GB/sから管理可能なエクスポートレート（0.32–0.54 GB/s）に低下させるために、どのような分散コンピューティングおよびデータ還元戦略が、科学的整合性を損なわずに必要とされるか？
• RQ3 グローバルな科学コミュニティがオープンアクセスと共同分析を可能にするために、統合的かつ安全でスケーラブルな科学ゲートウェイをどのように設計できるか？
• RQ4 Gridベースのeインフラストラクチャーおよびミドルウェア（例：DIRAC、LifeRay）は、大規模なモンテカルロシミュレーションおよび科学ワークフロー自動化をどのように支援するか？
• RQ5 複数の国際的拠点にわたり、長期的なメンテナンス、ソフトウェアアップグレード、データ品質を保証する持続可能な運用モデルをどのように確立できるか？

主な発見

• CTAデータ管理システムは、CTA施設から合計8.6 GB/sのデータレートを処理することを設計しており、北アレイから3.2 GB/s、南アレイから5.4 GB/sを含む。20%のキャリブレーションデータと10 MB/sの制御データを含む。
• データ還元技術を活用することで、実効的なデータエクスポートレートは北で0.32 GB/s、南で0.54 GB/sに低下し、建設段階中は1 Gb/sのネットワークリンクでも実現可能となる。
• DIRACワークフロー管理システムは、大規模なモンテカルロ生産および科学的データ処理パイプラインのプロトタイピングと検証に成功した。
• LifeRay、WS-PRAGUE/gUSE、Djangoフレームワークを用いた3つの補完的科学ゲートウェイプロトタイプが開発され、認証、アプリケーションアクセス、インタラクティブ分析を統合する最終的な統合ゲートウェイが開発中である。
• 4つの主要データセンター（DC1–DC4）を有するDCIモデルにより、データアーカイブ、処理、シミュレーションの負荷がバランスよく分散され、ネットワーク全体にわたるデータレプリケーションと配布が管理される。
• システムは、リアルタイムでの現地処理および品質モニタリングから長期アーカイブ、オープン配布までをカバーする完全なデータライフサイクルをサポートしており、公共観測所の基準に準拠していることを保証する。