[論文レビュー] The Data Lab: A Science Platform for the analysis of ground-based astronomical survey data

Knut Olsen, A. Bolton+7 more|arXiv (Cornell University)|Aug 1, 2019

Astronomy and Astrophysical Research被引用数 4

ひとこと要約

NOAO Data Lab は、標準化されたプロトコル、オープンソースツール、クラウド対応のコンテナ化を活用して、ペタバイト規模の地上望遠鏡宇宙探査データの効率的分析を可能にする科学プラットフォームである。大規模なカタログおよび画像クエリをサポートし、登録ユーザーが864名に上り、1日平均6,000件以上の自動クエリを処理しており、発見志向の科学研究における大規模な探査データセットへのアクセスの民主化が実現されていることを示している。

ABSTRACT

The next decade will feature a growing number of massive ground-based photometric, spectroscopic, and time-domain surveys, including those produced by DECam, DESI, and LSST. The NOAO Data Lab was launched in 2017 to enable efficient exploration and analysis of large surveys, with particular focus on the petabyte-scale holdings of the NOAO Archive and their associated catalogs. The Data Lab mission and future development align well with two of the NSF's Big Ideas, namely Harnessing Data for 21st Century Science and Engineering and as part of a network to contribute to Windows on the Universe: The Era of Multi-messenger Astrophysics. Along with other Science Platforms, the Data Lab will play a key role in scientific discoveries from surveys in the next decade, and will be crucial to maintaining a level playing field as datasets grow in size and complexity.

研究の動機と目的

• NOAO望遠鏡（DECam、DESI、将来のLSST探査を含む）から得られるペタバイト規模の天文学的探査データを分析するという増大する課題に対処すること。
• インタラクティブな探索と自動化されたカタログ、画像、スペクトルの分析を支援する科学プラットフォームを提供し、広範なコミュニティへのアクセスを保証すること。
• データセットのサイズと複雑さが増す中で、データ集約型科学のためのスケーラブルなインfraストラクチャを提供することで、研究者間の公平な競争環境を維持すること。
• 国立科学プラットフォームおよびデータエコシステムと統合することで、データサイエンスおよびマルチメッセンジャー天文学分野のNSFのBig Ideasと整合すること。
• IVOアライアンス（IVOA）の標準、オープンソースソフトウェア、コンテナ化デプロイメントの採用を通じて、長期的な持続可能性と相互運用性を確保すること。

提案手法

• データ発見およびアクセスには、IVOアライアンス準拠のプロトコル（Table Access Protocol（TAP）、Simple Image Access（SIA）、VOSpace、Universal Worker Service（UWS））を採用している。
• カタログストレージにはPostgreSQL、空間インデックスおよびコーン検索にはQ3C、インタラクティブ分析にはJupyterを含むオープンソースソフトウェアスタックを統合している。
• 科学的計算にはAstroPyおよび関連パッケージを、VO準拠のデータアクセスおよび相互運用性にはPyVOを活用している。
• データラボは、DockerおよびKubernetesを用いてコンテナ化デプロイとサービスオーケストレーションを実施し、スケーラブルで再現可能な科学ワークフローを実現している。
• 高スルーレットクエリパイプラインを通じて、自動化・スクリプト化されたクエリをサポートしており、1日あたりのクエリの50％が画像カットアウト、45％がDECamおよびMosaicカタログをターゲットとしている。
• LSST科学プラットフォームとの将来の互換性を考慮して設計されており、全国施設間の相互運用性を確保するための広域の科学プラットフォームネットワークの一環でもある。

実験結果

リサーチクエスチョン

• RQ1 地上望遠鏡からのペタバイト規模の天文学的探査データの分析を、科学プラットフォームがどのように効率的に支援できるか。
• RQ2 大規模なカタログ、画像、スペクトルのスケーラブルでインタラクティブかつ自動化された分析を実現するためのインfraストラクチャおよびソフトウェアスタックとして、どのようなものが必要か。
• RQ3 標準化されたオープンプロトコルサービスが、マルチプラットフォームのデータエコシステムにおいて相互運用性と長期的持続可能性をどのように確保できるか。
• RQ4 科学プラットフォームは、天文学研究コミュニティ全体における大規模データセットへの公平なアクセスをどのように維持しているか。
• RQ5 コンテナ化およびクラウド対応のデプロイ戦略は、科学的データプラットフォームの保守性および拡張性をどのように向上させることができるか。

主な発見

• 論文発表時点での登録ユーザー数は864名であり、2017年6月の一般公開以降、ユーザー数は直線的に増加している。
• 8か月間の期間にわたり、1日平均6,000件を超えるクエリが処理されており、その大部分が自動化・スクリプト化されたものである。
• 1日あたりのクエリの約50％が画像カットアウトを、45％がDECamおよびMosaicベースのカタログをターゲットとしており、画像およびカタログデータに対する強い需要がうかがえる。
• インタラクティブ利用（カタログのクロスマッチやJupyterノートブックのアクセス）は、クエリ全体の約5％にとどまり、ユーザーの大多数が自動化された利用形態であることが確認された。
• プラットフォームは継続的で段階的なリリースサイクルを採用しており、現在はバージョン2.17.1が活用されており、モノリシックなリリースからアジャイルで頻繁なアップデートへのシフトが見られる。
• 年間運用コストは約100万ドルであり、開発および運用に7.5 FTEが割り当てられており、機器および出張に11万5,000ドルが割り当てられている。