[논문 리뷰] Improving Photometric Redshift Estimation for Cosmology with LSST using Bayesian Neural Networks

Evan Jones, Tuan Do외 4명|arXiv (Cornell University)|2023. 06. 22.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

이 논문은 LSST 설문 조사에 대비해 광학적 적색편이(photo-z) 추정을 위한 베이지안 신경망(BNN)을 제안한다. Hyper Suprime-Cam 데이터 세트의 grizy 광도 측정치를 사용한다. BNN은 정확한 적색편이 예측과 잘 校정된 불확실성 추정을 제공하며, LSST의 photo-z 과학 요구사항의 2/3를 충족시키고, 0.8σ 불확실성 기준을 사용할 경우 치명적인 외곽치를 66.8% 감소시킨다.

ABSTRACT

We present results exploring the role that probabilistic deep learning models can play in cosmology from large-scale astronomical surveys through photometric redshift (photo-z) estimation. Photo-z uncertainty estimates are critical for the science goals of upcoming large-scale surveys such as LSST, however common machine learning methods typically provide only point estimates and lack uncertainties on predictions. We turn to Bayesian neural networks (BNNs) as a promising way to provide accurate predictions of redshift values with uncertainty estimates. We have compiled a galaxy data set from the Hyper Suprime-Cam Survey with grizy photometry, which is designed to be a smaller scale version of large surveys like LSST. We use this data set to investigate the performance of a neural network (NN) and a probabilistic BNN for photo-z estimation and evaluate their performance with respect to LSST photo-z science requirements. We also examine the utility of photo-z uncertainties as a means to reduce catastrophic outlier estimates. The BNN outputs the estimate in the form of a Gaussian probability distribution. We use the mean and standard deviation as the redshift estimate and uncertainty. We find that the BNN can produce accurate uncertainties. Using a coverage test, we find excellent agreement with expectation -- 67.2$\%$ of galaxies between $0 < 2.5$ have 1-$σ$ uncertainties that cover the spectroscopic value. We also include a comparison to alternative machine learning models using the same data. We find the BNN meets two out of three of the LSST photo-z science requirements in the range $0 < z < 2.5$.

연구 동기 및 목표

• 대규모 우주론적 설문 조사(예: LSST)를 위한 정확한 광학적 적색편이 예측과 잘 校정된 불확실성 추정을 제공하는 기계학습 모델을 개발하는 것.
• 베이지안 신경망이 LSST photo-z 과학 요구사항(특히 rms 오차, 편향, 외곽치 제어)을 충족할 수 있는지 평가하는 것.
• 광학적 적색편이 불확실성 추정치가 치명적인 외곽치 예측을 식별하고 줄이는데 얼마나 유용한지 평가하는 것.
• LSST를 모의한 대표적인 소규모 데이터 세트에서 표준 기계학습 모델(예: 완전 연결 신경망, 랜덤 포레스트, XGBoost, SVM)과의 성능을 비교하는 것.

제안 방법

• 저자들은 LSST 규모의 데이터를 모의하기 위해 Hyper Suprime-Cam 설문 조사에서 수집한 새로운 은하 데이터 세트를 사용해 베이지안 신경망(BNN)을 훈련시켰다.
• BNN은 각 은하에 대해 정규 확률 분포를 출력하며, 평균을 적색편이 추정치로, 표준편차를 불확실성 추정치로 사용한다.
• 모델은 LSST의 과학 요구사항(예: rms 오차, 편향, 3σ 치명적 외곽치 비율)과 함께 커버리지 및 PIT 히스토GRAM과 같은 추가적인 확률적 지표를 사용해 평가된다.
• BNN의 불확실성 추정치는 zσ 기준을 적용하여 잠재적 외곽치를 식별하는 데 사용되며, 예측 불확실성이 > zσ인 은하는 일반적으로 외곽치로 간주된다.
• 동일한 데이터 세트에서 완전 연결 신경망, 랜덤 포레스트, XGBoost, SVM 및 기타 기존 photo-z 방법과의 성능을 비교하였다.
• 통계적 검증에는 진짜 스펙트로스코픽 적색편이가 1σ 불확실성 간격 내에 포함되는지 평가하기 위한 커버리지 테스트와 예측 분포의 校정 정도를 평가하기 위한 PIT(Probability Integral Transform) 히스토GRAM 분석이 포함된다.

실험 결과

연구 질문

• RQ1 베이지안 신경망은 LSST의 정확성 및 불확실성 추정 校정 요구사항을 충족하는 광학적 적색편이 추정치를 생성할 수 있는가?
• RQ2 커버리지 및 PIT 히스토GRAM 분석을 통해 측정했을 때, BNN의 불확실성 추정치는 진짜 적색편이 분포와 얼마나 잘 일치하는가?
• RQ3 광학적 적색편이 불확실성 추정치를 얼마나 잘 활용해 치명적인 외곽치를 식별하고 줄일 수 있는가, 이 과정에서 신뢰할 수 있는 추정치의 손실 비용이 너무 크지 않은가?
• RQ4 대표적인 데이터 세트에서 표준 기계학습 모델(예: NN, RF, XGBoost)과 비교했을 때 BNN의 성능은 rms 오차, 편향 및 외곽치 비율 측면에서 어떻게 다른가?

주요 결과

• BNN은 진짜 스펙트로스코픽 적색편이가 1σ 불확실성 간격 내에 포함되는 비율이 67.2%를 기록하여 잘 校정된 불확실성 추정치를 나타낸다.
• BNN은 적색편이 범위 0 < z < 2.5에서 LSST photo-z 과학 요구사항 중 2개를 충족한다: rms 오차가 0.2 이하이고, 편향이 0.003 이하이다.
• zσ 기준을 0.8로 설정했을 때, BNN은 치명적인 외곽치를 66.8% 감소시키고 총 외곽치를 25.0% 감소시켰으며, 이는 비외곽치 은하의 3.2%만 제거하는 데서 비롯된다.
• 동일한 데이터 세트에서 완전 연결 신경망, 랜덤 포레스트, XGBoost, SVM 등 다른 모델들보다 BNN이 정확성과 불확실성 추정의 校정 정도 측면에서 뛰어난 성능을 보였다.
• PIT 히스토GRAM은 BNN의 예측 분포가 잘 校정되어 있음을 보여주며, 명백한 과다 또는 과소 커버리지가 없다.
• 연구는 훈련 데이터에 잠재적인 편향이 있음을 밝혀내었는데, 특히 고적색편이 은하의 수가 부족하고 빛나는 은하에 대한 편향이 있어 z > 1.5에서 성능에 영향을 줄 수 있다.