[논문 리뷰] The Data Lab: A Science Platform for the analysis of ground-based astronomical survey data

Knut Olsen, A. Bolton외 7명|arXiv (Cornell University)|2019. 08. 01.

Astronomy and Astrophysical Research인용 수 4

한 줄 요약

NOAO Data Lab는 표준화된 프로토콜, 오픈소스 도구, 클라우드 기반 컨테이너 기반 아키텍처를 활용하여 페타바이트 규모의 지상 기반 천문학적 설문 데이터를 효율적으로 분석할 수 있도록 설계된 과학 플랫폼이다. 이 플랫폼은 대규모 카탈로그 및 이미지 쿼리 지원을 통해 864명의 등록 사용자와 일일 6,000건 이상의 자동화된 쿼리를 처리하며, 발견 기반 과학을 위한 거대한 설문 데이터셋에 대한 접근을 민주화하고 있음을 보여준다.

ABSTRACT

The next decade will feature a growing number of massive ground-based photometric, spectroscopic, and time-domain surveys, including those produced by DECam, DESI, and LSST. The NOAO Data Lab was launched in 2017 to enable efficient exploration and analysis of large surveys, with particular focus on the petabyte-scale holdings of the NOAO Archive and their associated catalogs. The Data Lab mission and future development align well with two of the NSF's Big Ideas, namely Harnessing Data for 21st Century Science and Engineering and as part of a network to contribute to Windows on the Universe: The Era of Multi-messenger Astrophysics. Along with other Science Platforms, the Data Lab will play a key role in scientific discoveries from surveys in the next decade, and will be crucial to maintaining a level playing field as datasets grow in size and complexity.

연구 동기 및 목표

• NOAO 망원경에서 발생하는 페타바이트 규모의 천문학적 설문 데이터(예: DECam, DESI, 향후 LSST 설문)를 분석하는 데 증가하는 도전 과제를 해결하기 위해.
• 카탈로그, 이미지, 스펙트럼의 상호작용 탐색 및 자동화된 분석을 지원하는 과학 플랫폼을 제공하여 연구자 전반의 광범위한 접근성을 확보하기 위해.
• 데이터셋의 크기와 복잡성이 증가함에 따라 데이터 집약적 과학을 위한 확장 가능한 인프라스트럭처를 제공함으로써 연구자 간의 균형 잡힌 경쟁 환경을 유지하기 위해.
• 국가 과학 플랫폼 및 데이터 생태계와의 통합을 통해 NSF의 Big Ideas 과학 분야 및 다중 메시징 천체물리학과 연계하기 위해.
• IVOА 표준, 오픈소스 소프트웨어, 컨테이너 기반 배포를 채택함으로써 장기적인 지속 가능성과 상호운용성을 확보하기 위해.

제안 방법

• 플랫폼은 데이터 탐색 및 접근을 위해 IVOA 준수 프로토콜인 테이블 액세스 프로토콜(TAP), 단순 이미지 액세스(SIA), VOSpace, 유니버설 워커 서비스(UWS)를 사용한다.
• 카탈로그 저장을 위해 PostgreSQL을, 공간 색인 및 원추 검색을 위해 Q3C를, 상호작용 분석을 위해 Jupyter를 포함한 오픈소스 소프트웨어 스택을 통합한다.
• 과학 계산을 위해 AstroPy 및 관련 패키지를 활용하고, VO 준수 데이터 액세스 및 상호운용성을 위해 PyVO를 사용한다.
• Docker와 Kubernetes를 활용해 컨테이너 기반 배포 및 서비스 오케스트레이션을 수행함으로써 확장 가능하고 재현 가능한 과학 워크플로우를 지원한다.
• 고처리량 쿼리 파이프라인을 통해 자동화된 스크립트 기반 쿼리를 지원하며, 일일 쿼리의 50%는 이미지 컷아웃이며, 45%는 DECam 및 Mosaic 카탈로그를 대상으로 한다.
• 플랫폼은 향후 LSST 과학 플랫폼과의 호환성을 고려해 설계되었으며, 국립 시설 간 상호운용성을 보장하기 위해 넓은 과학 플랫폼 네트워크의 일환으로 기능한다.

실험 결과

연구 질문

• RQ1 어떻게 과학 플랫폼이 지상 기반 망원경에서 발생하는 페타바이트 규모의 천문학적 설문 데이터 분석을 효율적으로 지원할 수 있는가?
• RQ2 대규모 카탈로그, 이미지, 스펙트럼의 확장 가능하고 상호작용적이며 자동화된 분석을 가능하게 하기 위해 필요한 인프라스트럭처와 소프트웨어 스택은 무엇인가?
• RQ3 표준화된 오픈 프로토콜 기반 서비스는 다중 플랫폼 데이터 생태계에서 상호운용성과 장기적인 지속 가능성을 어떻게 보장할 수 있는가?
• RQ4 과학 플랫폼은 천문학 연구 공동체 전반에서 거대한 데이터셋에 대한 공정한 접근성을 유지하는 데 어떤 역할을 하는가?
• RQ5 컨테이너 기반 및 클라우드 기반 배포 전략은 과학 데이터 플랫폼의 유지보수성과 확장성 향상에 어떻게 기여하는가?

주요 결과

• 논문 발표 당시 기준으로 Data Lab은 864명의 등록 사용자를 확보했으며, 2017년 6월 공개 출시 이후 사용자 수가 선형적으로 증가했다.
• 8개월 동안 일일 평균 6,000건 이상의 쿼리가 처리되었으며, 대부분이 자동화되고 스크립트 기반의 쿼리였다.
• 일일 쿼리의 약 50%는 이미지 컷아웃을 위한 것이었고, 45%는 DECam 및 Mosaic 기반 카탈로그를 대상으로 하여 이미지 및 카탈로그 데이터에 대한 강한 수요를 보였다.
• 상호작용 사용은 카탈로그 크로스매치 및 Jupyter 노트북 액세스로 측정했을 때 전체 쿼리의 약 5%에 불과하여, 대부분의 사용자 참여가 자동화된 방식임을 확인했다.
• 플랫폼는 지속적인 점진적 릴리스 사이클을 따르며, 현재 버전 2.17.1이 활성 사용 중이어서 단일 릴리스에서 민첩하고 자주 업데이트되는 방식으로의 전환을 반영하고 있다.
• 연간 운영 비용은 약 100만 달러이며, 개발 및 운영에 7.5명의 정규직 등가(FTE)가 투입되었고, 장비 및 출장에 115,000달러가 할당되었다.