[論文レビュー] The LAMOST Data Archive and Data Release

Boliang He, Dongwei Fan+4 more|arXiv (Cornell University)|Jan 11, 2016

Advanced Data Storage Technologies被引用数 3

ひとこと要約

本論文は、LAMOSTデータアーカイブおよびデータリリースシステムを提示し、生データ転送、パイプライン処理、アーカイブ、バックアップ、公開リリースを含む、4バージョンにわたり進化した堅牢なデータサイクル管理フレームワークを詳細に説明している。このシステムは4年間にわたり4回のデータリリース（PDR、DR1–DR3）を成功裏に実施し、18TBの生データおよび400万スペクトルを管理し、オープンソースツールと中国VO統合を活用したスケーラブルで生産環境対応のインfraストラクチャにより、大規模な恒星分光法研究を可能にした。

ABSTRACT

The Large sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST) is the largest optical telescope in China. In last four years, the LAMOST telescope has published four editions data (pilot data release, data release 1, data release 2 and data release 3). To archive and release these data (raw data, catalog, spectrum etc), we have set up a data cycle management system, including the transfer of data, archiving, backup. And through the evolution of four software versions, mature established data release system.

研究の動機と目的

• LAMOST望遠鏡の膨大な分光データ出力を対象とした信頼性が高くスケーラブルなデータサイクル管理システムを構築すること。
• 自動アーカイブおよびバックアップを用いて、生データ、カタログ、FITSスレクトルの長期的保存および公開アクセスを確保すること。
• 一貫した品質とメタデータを備えた、処理済みデータの複数版（PDR、DR1、DR2、DR3）のリリースを通じて科学コミュニティを支援すること。
• 中国VOと統合し、オープンソースソフトウェアスタックを活用して持続可能で拡張性のあるデータインfraストラクチャを構築すること。

提案手法

• 生データをLAMOST施設から中国VOデータセンターに転送し、その後パイプラインサーバーにプッシュして製品を生成する、段階的なデータフローを実装する。
• CSTNETパスポートを介したユーザーアクセスとデータリリースワークフローを管理する、SpringフレームワークベースのWebアプリケーションを用いる。
• 処理済みデータ（カタログおよびスレクトル）を専用のデータリリースサーバーにホストされたPostgreSQL（pgSphere拡張子付）に格納する。
• 生データおよび製品データの両方を第三者のストレージシステムにバックアップすることで、データ耐久性およびディザスタリカバリを確保する。
• データリリースコンテンツの配信と効率的なトラフィック管理を実現するため、NginxをWebサーバーとしてデプロイする。
• 中国VOがホスティングするGitLabベースのコードリポジトリシステムを活用して、ソフトウェア開発およびバージョニングを管理する。

実験結果

リサーチクエスチョン

• RQ1 LAMOSTのようなマルチオブジェクトファイバー分光調査に適した大規模かつ高スループットのデータパイプラインをどのように設計できるか？
• RQ2 ペタバイトスケールの天文学的データの信頼性のある転送、処理、アーカイブ、および公開リリースを保証するシステムアーキテクチャはどのようなものか？
• RQ3 オープンソースソフトウェアと国家データインfraストラクチャ（中国VO）を統合することで、国家科学施設の持続可能なデータ管理をどのように支援できるか？
• RQ4 4年間にわたり18TBの生データおよび400万スレクトルを処理するデータリリースシステムの主なパフォーマンスおよびスケーラビリティ指標は何か？

主な発見

• LAMOSTデータアーカイブおよびデータリリースシステムは、900回の観測夜を管理し、約18TBの生データおよび5TBの製品データ（カタログおよびFITSスレクトル）を生成した。
• 2012年から2015年の間に、パイロットデータリリース（PDR）、DR1、DR2、DR3の4回の主要なデータリリースが実施され、DR1とDR2はそれぞれ2013年および2014年に公開された。
• 1日あたりの平均生データサイズは約20GBであり、900回の観測夜にわたり一貫していた。
• オープンソース技術（Spring、PostgreSQL、Nginx、GitLab）を基盤とするモジュラーで4バージョンにわたり進化したソフトウェアスタックを用いて、安定的かつ自動化されたデータ処理とリリースを達成した。
• 中国VOとの統合により、セキュアでスケーラブルかつ公開アクセス可能なデータ配布が、専用のWebポータル（例：http://dr3.lamost.org）を通じて実現された。
• データリリースパイプラインは、400万スレクトルおよび関連カタログを信頼性高く生成・提供し、大規模な恒星集団研究を支援した。