[논문 리뷰] The LAMOST Data Archive and Data Release

Boliang He, Dongwei Fan외 4명|arXiv (Cornell University)|2016. 01. 11.

Advanced Data Storage Technologies인용 수 3

한 줄 요약

이 논문은 LAMOST 데이터 아카이브 및 데이터 배포 시스템을 제시하며, 원시 데이터 전송, 파이프라인 처리, 아카이빙, 백업, 공개 배포를 포함하는 강력한 네 번의 버전 진화를 거친 데이터 사이클 관리 프레임워크를 상세히 기술한다. 이 시스템은 네 해 동안 18TB의 원시 데이터와 400만 개의 스펙트럼을 처리하여, 오픈소스 도구와 중국-VO 통합을 기반으로 한 확장 가능한, 생산 환경에 적합한 인프라를 통해 대규모 항성 스펙트로스코피 연구를 가능하게 했다.

ABSTRACT

The Large sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST) is the largest optical telescope in China. In last four years, the LAMOST telescope has published four editions data (pilot data release, data release 1, data release 2 and data release 3). To archive and release these data (raw data, catalog, spectrum etc), we have set up a data cycle management system, including the transfer of data, archiving, backup. And through the evolution of four software versions, mature established data release system.

연구 동기 및 목표

• LAMOST 망원경의 대규모 스펙트로스코픽 데이터 출력을 위한 신뢰성 있고 확장 가능한 데이터 사이클 관리 시스템을 구축하기 위해.
• 자동 아카이빙 및 백업을 통해 원시 데이터, 카탈로그, FITS 스펙트럼의 장기적 보존과 공개 접근성을 확보하기 위해.
• 일致된 품질과 메타데이터를 갖춘 처리된 데이터의 여러 버전(PDR, DR1, DR2, DR3)을 배포하여 과학 공동체를 지원하기 위해.
• 지속 가능하고 확장 가능한 데이터 인프라를 위해 오픈소스 소프트웨어 스택과 중국-VO를 통합하기 위해.

제안 방법

• 원시 데이터를 LAMOST 현장에서 중국-VO 데이터 센터로 전송한 후, 파이프라인 서버로 전달하여 제품 생성을 수행하는 다단계 데이터 플로우를 구현하기 위해.
• CSTNET Passport를 통한 사용자 접근 및 데이터 배포 워크플로우를 관리하기 위해 스프링 프레임워크 기반 웹 애플리케이션을 사용하기 위해.
• 처리된 데이터(카탈로그 및 스펙트럼)를 전용 데이터 배포 서버에 설치된 PostgreSQL과 pgSphere 확장 기능을 사용해 저장하기 위해.
• 원시 데이터 및 제품 데이터를 제3자 스토리지 시스템에 백업하여 데이터 내구성과 재해 복구를 확보하기 위해.
• 데이터 배포 콘텐츠 제공 및 트래픽 효율적 관리를 위해 Nginx를 웹 서버로 배포하기 위해.
• 중국-VO가 호스팅하는 GitLab 기반 코드 저장소 시스템을 통해 소프트웨어 개발 및 버전 관리를 수행하기 위해.

실험 결과

연구 질문

• RQ1 LAMOST와 같은 다중 대상 섬유 스펙트로스코픽 조사에 적합한 대규모 고처리량 데이터 파이프라인을 어떻게 설계할 수 있는가?
• RQ2 페타바이트 규모의 천문학적 데이터의 신뢰성 있는 전송, 처리, 아카이빙, 공개 배포를 보장하는 시스템 아키텍처는 무엇인가?
• RQ3 오픈소스 소프트웨어와 국가 수준의 데이터 인프라(중국-VO)를 어떻게 통합하여 국가 과학 시설을 위한 지속 가능한 데이터 관리 인프라를 지원할 수 있는가?
• RQ4 18TB의 원시 데이터와 400만 개의 스펙트럼을 네 해 동안 처리하는 데이터 배포 시스템의 핵심 성능 및 확장성 메트릭스는 무엇인가?

주요 결과

• LAMOST 데이터 아카이브 및 데이터 배포 시스템은 900회의 관측 야간을 성공적으로 관리하여 약 18TB의 원시 데이터와 5TB의 제품 데이터(카탈로그 및 FITS 스펙트럼)를 생성했다.
• 2012년에서 2015년 사이에 피LOT 데이터 배포(PDR), DR1, DR2, DR3의 네 가지 주요 데이터 배포가 이루어졌으며, DR1과 DR2는 각각 2013년과 2014년에 공개 배포되었다.
• 야간 평균 원시 데이터 크기는 20GB로, 900회의 관측 야간 전역에서 일관되게 유지되었다.
• 오픈소스 기술(Spring, PostgreSQL, Nginx, GitLab 포함) 기반의 모듈식이고 네 번의 버전 진화를 거친 소프트웨어 스택을 사용하여 안정적이고 자동화된 데이터 처리 및 배포를 달성했다.
• 중국-VO 통합을 통해 보안적이고 확장 가능하며 공개 접근 가능한 데이터 배포를 전용 웹 포털(예: http://dr3.lamost.org)을 통해 실현했다.
• 데이터 배포 파이프라인은 신뢰성 있게 400만 개의 스펙트럼과 관련 카탈로그를 생성 및 제공하여 대규모 항성 집단 연구를 지원했다.