[논문 리뷰] Learning an Astronomical Catalog of the Visible Universe through Scalable Bayesian Inference

Jeffrey Regier, Kiran Pamnany외 5명|arXiv (Cornell University)|2016. 11. 10.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 7

한 줄 요약

이 논문은 줄리아에서 변분 베이지안 추론을 사용하여 천체 물리학적 카탈로그 추론 시스템인 Celeste의 확장성 있고 병렬화된 구현을 제시한다. 이는 대규모 데이터셋에서 정확도가 높고 불확실성 측정이 가능한 카탈로그 생성을 가능하게 하며, 최대 8192개의 코어에서 강력한 스케일링 성능을 보이며, 현실적인 통계 모델을 기반으로 한 체계적인 불확실성 추정을 제공하는 가장 큰 카탈로그를 생성한다.

ABSTRACT

Celeste is a procedure for inferring astronomical catalogs that attains state-of-the-art scientific results. To date, Celeste has been scaled to at most hundreds of megabytes of astronomical images: Bayesian posterior inference is notoriously demanding computationally. In this paper, we report on a scalable, parallel version of Celeste, suitable for learning catalogs from modern large-scale astronomical datasets. Our algorithmic innovations include a fast numerical optimization routine for Bayesian posterior inference and a statistically efficient scheme for decomposing astronomical optimization problems into subproblems. Our scalable implementation is written entirely in Julia, a new high-level dynamic programming language designed for scientific and numerical computing. We use Julia's high-level constructs for shared and distributed memory parallelism, and demonstrate effective load balancing and efficient scaling on up to 8192 Xeon cores on the NERSC Cori supercomputer.

연구 동기 및 목표

• 대규모 천체 영상 분석에서 정확한 베이지안 사후 분포 추론의 계산 불가능성을 해결하기 위해.
• LSST 및 SDSS와 같은 대규모 천체 데이터셋으로부터 높은 정확도와 불확실성 인식 카탈로그 생성을 가능하게 하기 위해.
• 현대 HPC 시스템에서 통계적 효율성과 계산 성능를 유지하면서 Celeste의 확장성 있고 병렬화된 구현을 개발하기 위해.
• 실제 대규모 데이터 분석 환경에서 고성능 과학 계산에 고수준 줄리아 언어를 사용할 수 있는지의 타당성을 입증하기 위해.
• 알고리즘적 혁신과 효율적인 병렬화를 결합하여, 작은 데이터셋을 넘어서 베이지안 추론을 확장하기 위해.

제안 방법

• 계산적으로 효율적인 방식으로 추론이 불가능한 사후 분포를 근사하기 위해 변분 추론을 활용한다.
• 전역 최적화 문제를 분산된 노드 간의 하위 문제로 분해하기 위해 통계적으로 효율적인 분해 기법을 설계한다.
• 효율적인 사후 근사에 기반한 두 번째 차수의 결정론적 최적화 방법을 사용한 빠른 수치 최적화 루틴을 구현한다.
• 공유 메모리 및 분산 메모리 병렬 처리를 위한 줄리아의 내장 지원을 활용하여 효과적인 로드 밸런싱과 강력한 스케일링을 달성한다.
• NERSC Cori와 같은 HPC 클러스터에서 다중 노드, 분산 메모리 병렬 처리를 지원하기 위해 줄리아 패키지를 개발하고 최적화한다.
• 잠재적 매개변수(예: 소스 위치, 광도, 형상)를 모델링하기 위해 인수 분해된 변분 분포를 사용하면서도 불확실성 측정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LSST와 같은 대규모 천체 데이터셋에 대해 정확한 베이지안 사후 추론을 통계적 정확도를 유지하면서 확장할 수 있는가?
• RQ2 알고리즘적 분해와 최적화를 통해 베이지안 추론의 계산 부담을 어떻게 줄일 수 있는가?
• RQ3 고수준 프로그래밍 언어인 줄리아가 복잡한 과학적 워크로드에 대해 HPC 수준의 성능을 달성할 수 있는가?
• RQ4 수백만 개의 빛의 소스에 걸쳐 현실적인 통계 모델을 기반으로 한 신뢰할 수 있는 불확실성 추정을 대규모로 계산할 수 있는가?
• RQ5 병렬 Celeste 구현의 성능는 컴퓨팅 자원과 데이터 크기가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• 확장성 있는 Celeste 구현은 NERSC Cori 슈퍼컴퓨터에서 최대 8192개의 Xeon 코어에서 강력한 스케일링과 약한 스케일링 성능을 달성했다.
• SDSS의 일부 데이터셋에 대한 새로운 카탈로그는 이전 방법에 비해 소스 위치, 색상, 은하 타원도, 각도의 파라미터 추정치가 향상되었다.
• 이로 인한 카탈로그는 데이터에 대한 현실적인 통계 모델을 기반으로 한 불확실성 추정이 포함된 지금까지 가장 큰 카탈로그이다.
• 이 방법은 이전 논문에서 보고된 바보다 더 큰 데이터셋에 대해 베이지안 추론을 성공적으로 확장하여 소규모 응용 분야를 넘어서는 타당성을 입증했다.
• 줄리아의 사용은 저수준 HPC 구현과 경쟁 가능한 성능을 달성하면서도 효과적인 고수준 병렬 프로그래밍을 가능하게 했다.
• 향후 연구에서는 모든 빛의 소스에 대한 동시 최적화, 자동 소스 수 추정, 더 표현력 있는 사후 근사에 적합한 확률적 최적화 방법 탐색을 진행할 것이다.