[논문 리뷰] Skies And Universes: Accessing cosmological simulations and theoretical predictions

Anatoly Klypin, Francisco Prada외 1명|arXiv (Cornell University)|2017. 11. 04.

Scientific Research and Discoveries인용 수 5

한 줄 요약

이 논문은 천체물리학 시뮬레이션 데이터의 대중적 접근을 가능하게 하는 커뮤니티 기반 데이터 레포지터리인 Skies and Universes를 제안한다. 이는 직접 다운로드 방식을 통해 테라바이트 규모의 천체물리학 시뮬레이션 데이터—원시 입자 파일과 관측 모의 데이터를 포함—를 접근 가능하게 하며, 제한적인 데이터베이스 쿼리에 의존하지 않는다. 이 프로젝트는 소규모 인프라로도 고해상도 시뮬레이션 결과의 광범위한 배포가 가능함을 입증하며, 현대 천체물리학에서 이론과 관측 간 협업을 지원하고 장기적인 과학적 재사용을 가능하게 한다.

ABSTRACT

Numerical simulations play a key important role in modern cosmology. Examples are plenty including the cosmic web - large scale structure of the distribution of galaxies in space - which was first observed in N-body simulations and later discovered in observations. The cuspy dark matter halo profiles, the overabundance of satellites, the Too-Big-Too-Fail problem are other examples of theoretical predictions that have a dramatic impact on recent developments in cosmology and galaxy formation. Large observational surveys such as e.g. SDSS, Euclid, and LSST are intimately connected with extensive cosmological simulations that provide statistical errors and tests for systematics. Accurate predictions for baryonic acoustic oscillations and redshift space distortions from high-resolution and large-volume cosmological simulations are required for interpretation of these large-scale galaxy/qso surveys. However, most of the results from extensive computer simulations, that would be greatly beneficial if publicly available, are still in hands of few research groups. Even when the simulation data is available, sharing vast amounts of data can be overwhelming. We argue that there is an effective and simple path to expand the data access and dissemination of numerous results from different cosmological models. Here we demonstrate that public access can be effectively provided with relatively modest resources. Among different results, we release for the astronomical community terabytes of raw data of th popular Bolshoi and MultiDark simulations. We also provide numerous results that are focused on mimicking observational data and galaxy surveys for major projects. Skies and Universes is a community effort: data are produced and shared by many research groups. We offer to other cosmologists and astronomers to host their data products in the skiesanduniverses.org space.

연구 동기 및 목표

• 높은 정밀도의 천체물리학 시뮬레이션 데이터에 대한 접근성이 제한되어 오랫동안 애초에 제한된 연구 그룹에만 제공되는 문제를 해결한다.
• SQL 쿼리에 의존하고 대량 다운로드 기능이 없는 기존 데이터 포털의 한계를 극복한다.
• Bolshoi와 MultiDark와 같은 고품질 시뮬레이션을 장기적으로 재사용할 수 있도록 원시 데이터와 처리된 데이터에 직접 접근할 수 있도록 한다.
• 은하 모의 목록과 관측 대체 지표를 공유함으로써 이론 천체물리학과 대규모 관측 설문조사(예: SDSS, LSST, Euclid) 간 협업을 촉진한다.
• 최소한의 인프라 투자로도 다양한 천체물리학 시뮬레이션 제품을 지속 가능하고 확장 가능한 커뮤니티 주도 모델로 공유할 수 있도록 한다.

제안 방법

• 입자 파일과 헬로 카탈로그를 포함한 원시 시뮬레이션 데이터를 공간 상자로 나누고 5 Mpc의 버퍼를 추가하여 병렬 처리를 가능하게 하는 형식으로 저장한다.
• MPI나 OpenMP를 사용한 고성능 컴퓨팅을 위한 사용자 고유의 분석 도구를 구축할 수 있도록 저수준 I/O 루틴과 데이터 포맷 설명서를 제공한다.
• 은하 모의 데이터 및 등급 함수와 같은 카탈로그 기반 데이터 제품을 압축된 ASCII 테이블 형식으로 저장한다.
• 유지보수 비용을 줄이고 접근성을 높이기 위해 기존의 데이터베이스가 아닌 경량의 파일 기반 아키텍처를 사용한다.
• 모든 데이터를 로컬에 저장할 필요 없이 외부 데이터 소스와의 연결을 통해 레포지터리의 범위를 확장할 수 있도록 한다.
• 협력적이고 분산된 모델을 통해 외부 연구 팀이 자체 시뮬레이션 제품을 Skies and Universes 플랫폼에 호스팅하도록 장려한다.

실험 결과

연구 질문

• RQ1 복잡하고 자원을 많이 소비하는 데이터베이스 시스템에 의존하지 않고도 대규모 천체물리학 시뮬레이션 데이터에 대한 대중 접근이 효과적으로 가능할 수 있는가?
• RQ2 원시 시뮬레이션 데이터의 직접 파일 다운로드 방식이 천문학 공동체 전체가 대규모 고성능 분석을 수행하는 데 얼마나 기여할 수 있는가?
• RQ3 Bolshoi와 MultiDark와 같은 장기적인 고정밀도 시뮬레이션은 어떻게 초기 발표 이후에도 지속 가능한 과학적 재사용이 가능하게 할 수 있는가?
• RQ4 최소한의 인프라 투자로도 다양한 천체물리학 시뮬레이션 제품을 지속 가능하고 분산된 커뮤니티 주도 모델로 호스팅하는 것이 가능한가?
• RQ5 이론적 시뮬레이션 출력물은 어떻게 실제 설문조사 요구사항(예: 마스크, 완전성, 설문조사 경계)과 효과적으로 일치시킬 수 있는가?

주요 결과

• Skies and Universes 플랫폼은 Bolshoi와 MultiDark 시뮬레이션의 테라바이트 규모의 원시 입자 데이터에 대한 공개 접근을 성공적으로 제공하며, 전체 시뮬레이션 박스와 헬로 카탈로그를 포함한다.
• 공간적으로 분할되고 버퍼가 추가된 파일 형식 덕분에 MPI나 OpenMP를 사용한 효율적인 병렬 처리가 가능해져 대규모 분석이 크게 수월해진다.
• 직접 파일 다운로드와 최소한의 인프라 조합이 고성능 천체물리학 데이터 배포에서 기존의 데이터베이스 접근 방식을 효과적으로 대체할 수 있음을 입증한다.
• 플랫폼은 원시 시뮬레이션 출력물 외에도 실제 설문조사 요구사항과 직접 일치하는 관측 모의 데이터—예: SDSS 및 QSO 모의 카탈로그, 발광선 등급 함수, 렌즈 효과 시뮬레이션—을 호스팅한다.
• 이미 이 프로젝트는 핵심 과학 연구를 가능하게 했으며, LoRCA 및 사이트에서 이용 가능한 관측 제품 기반으로 발광선 등급 함수에 관한 두 페퍼블리케이션을 성취했다.
• 이 모델은 확장 가능하고 확장 가능한데, 저자들은 활발히 다른 연구 팀이 자신의 데이터 제품을 Skies and Universes 레포지터리에 기여하도록 장려하며, 협업 기반의 커뮤니티 주도 데이터 생태계를 조성하고 있다.