[논문 리뷰] Lsst Data Management: Building The Data System For The Era Of Petascale Optical Astronomy

Mario Jurić, Jeffrey Kantor외 63명|arXiv (Cornell University)|2015. 10. 26.

Astronomy and Astrophysical Research참고 문헌 9인용 수 93

한 줄 요약

이 논문은 매晚 15TB의 옵티컬 설문 데이터를 실시간 경고와 11회의 다년간 데이터 배포로 처리하기 위해 설계된 확장성 있고 오픈소스 소프트웨어 스택인 LSST 데이터 관리(DM) 시스템을 제시한다. 현대 소프트웨어 공학 기법을 기반으로 구축된 이 시스템은 광역, 시간 영역 과학을 위한 페타스케일 천문학 데이터의 자동화되고 고성능의 감소를 가능하게 한다.

ABSTRACT

The Large Synoptic Survey Telescope (LSST) is a large-aperture, wide-field, ground-based survey system that will image the sky in six optical bands from 320 to 1050 nm, uniformly covering approximately $18,000$deg$^2$ of the sky over 800 times. The LSST is currently under construction on Cerro Pachón in Chile, and expected to enter operations in 2022. Once operational, the LSST will explore a wide range of astrophysical questions, from discovering "killer" asteroids to examining the nature of Dark Energy. The LSST will generate on average 15 TB of data per night, and will require a comprehensive Data Management system to reduce the raw data to scientifically useful catalogs and images with minimum human intervention. These reductions will result in a real-time alert stream, and eleven data releases over the 10-year duration of LSST operations. To enable this processing, the LSST project is developing a new, general-purpose, high-performance, scalable, well documented, open source data processing software stack for O/IR surveys. Prototypes of this stack are already capable of processing data from existing cameras (e.g., SDSS, DECam, MegaCam), and form the basis of the Hyper-Suprime Cam (HSC) Survey data reduction pipeline.

연구 동기 및 목표

• LSST 설문으로부터 생성되는 페타스케일 데이터 볼륨을 처리할 수 있는 종합적이고 자동화된 데이터 관리 시스템을 설계하는 것.
• 최소한의 인간 간섭으로 원시 LSST 데이터를 과학적으로 유용한 카탈로그와 이미지로 감소시키며, 관측 후 60초 이내 실시간 경고 생성을 보장하는 것.
• 정기적인 재처리를 통해 균일하고 캘리브레이션된, 상호 일관성이 있는 데이터 배포(DRs)를 생산함으로써 장기적인 과학적 분석을 가능하게 하는 것.
• 사용자가 페타바이트 스케일 데이터셋을 전송할 필요 없이 고수준의 데이터 제품(Level 3)을 생성하기 위한 인프라와 도구를 제공하는 것.
• 소프트웨어와 데이터 배포를 위한 공동체가 수용한 표준과 오픈소스 원칙을 활용하여 광범위한 공동체 접근성을 보장하는 것.

제안 방법

• 실시간 경고 생성을 위한 레벨 1, 데이터 배포로의 정기적 재처리를 위한 레벨 2, 추가가치 제품을 위한 레벨 3을 포함하는 3단계 데이터 처리 파이프라인을 구현하는 것.
• 모듈성, 테스트, 문서화를 중시한 일반 목적의 고성능 오픈소스 소프트웨어 스택을 파이썬과 C++를 사용해 개발하고, SWIG 래퍼를 적용하는 것.
• 분산형, 공유 자원이 없는 데이터베이스 시스템(Qserv)을 활용하며, 150노드 클러스터에서 550억 행과 30TB의 시뮬레이션된 데이터로 테스트한 바 있다.
• 이전 설문(예: SDSS, DECam, HSC)에서 입증된 데이터 감소 기법을 활용하고, LSST의 규모와 캐드런에 맞게 적응시키는 것.
• 공통 이미지의 조합에서 동적 범위를 향상시키고 희미한 구조를 유지하기 위해 '배경 일치' 기법과 같은 새로운 이미지 공통화 기법을 적용하는 것.
• 기존 설문(예: 하이퍼-수프라이머 캠 설문)에 소프트웨어 스택을 통합하고 실제 및 시뮬레이션된 LSST 데이터를 기반으로 검증하는 것.

실험 결과

연구 질문

• RQ1 매일 15TB의 원시 옵티컬 데이터를 처리하면서 실시간 경고 생성에 60초 이내의 지연을 확보할 수 있는 방법은 무엇인가?
• RQ2 페타스케일 천문학 데이터에 대해 확장성, 유지보수성, 성능을 확보하기 위해 필요한 아키텍처 및 소프트웨어 공학 기법은 무엇인가?
• RQ3 800회 이상 관측된 18,000 제곱도의 영역에서 균일한 강도 및 천체 위치 캘리브레이션을 달성하는 방법은 무엇인가?
• RQ4 오픈소스, 공동체 주도 소프트웨어는 대규모 설문 조사에 있어 장기적이고 재현 가능한 데이터 분석을 어떻게 지원할 수 있는가?
• RQ5 페타바이트 스케일 데이터를 현지에 저장하지 않고도 사용자에게 거대한 데이터셋에 접근할 수 있도록 하는 방법은 무엇인가?

주요 결과

• LSST DM 시스템은 시뮬레이션 및 실제 설문(예: SDSS, CFHT-LS, DECam) 데이터를 프로토타입 소프트웨어 스택을 사용해 성공적으로 처리했다.
• Qserv 데이터베이스 프로토타입은 150노드 클러스터에서 550억 행과 30TB의 시뮬레이션된 LSST 데이터로 테스트되었으며, 확장성의 가능성을 입증했다.
• LSST 소프트웨어 스택 프로토타입은 SDSS Stripe 82 데이터의 고역반응 공통화 이미지를 생성했으며, 고도로 발전된 배경 일치 기법을 통해 희미한 구조를 유지했다.
• 소프트웨어 스택는 하이퍼-수프라이머 캠 설문의 데이터 처리 파이프라인 기반으로 작동했으며, 두 차례의 성공적인 데이터 배포를 가능하게 했다.
• 시스템은 관측 후 60초 이내 실시간 경고 생성을 달성하여 시간 영역 천문학에 대한 엄격한 요구사항을 충족시켰다.
• 소프트웨어 스택의 오픈소스 성격( GPLv3 라이선스 하에)은 향후 LSST를 초월해 다른 O/IR 설문 조사에 대한 장기적 공동체 사용과 확장성을 보장한다.