[论文解读] Improving Photometric Redshift Estimation for Cosmology with LSST using Bayesian Neural Networks

Evan Jones, Tuan Do+4 more|arXiv (Cornell University)|Jun 22, 2023

Advanced Statistical Methods and Models被引用 5

一句话总结

本文提出一种贝叶斯神经网络（BNN）用于准备大型合成巡天望远镜（LSST）巡天的测光红移（photo-z）估计，基于使用grizy测光的超深超会巡天（Hyper Suprime-Cam）数据集。该BNN提供了准确的红移预测，并具有校准良好的不确定性估计，满足LSST测光红移科学需求的2/3，且在使用0.8σ不确定性截断时，将灾难性异常值减少了66.8%。

ABSTRACT

We present results exploring the role that probabilistic deep learning models can play in cosmology from large-scale astronomical surveys through photometric redshift (photo-z) estimation. Photo-z uncertainty estimates are critical for the science goals of upcoming large-scale surveys such as LSST, however common machine learning methods typically provide only point estimates and lack uncertainties on predictions. We turn to Bayesian neural networks (BNNs) as a promising way to provide accurate predictions of redshift values with uncertainty estimates. We have compiled a galaxy data set from the Hyper Suprime-Cam Survey with grizy photometry, which is designed to be a smaller scale version of large surveys like LSST. We use this data set to investigate the performance of a neural network (NN) and a probabilistic BNN for photo-z estimation and evaluate their performance with respect to LSST photo-z science requirements. We also examine the utility of photo-z uncertainties as a means to reduce catastrophic outlier estimates. The BNN outputs the estimate in the form of a Gaussian probability distribution. We use the mean and standard deviation as the redshift estimate and uncertainty. We find that the BNN can produce accurate uncertainties. Using a coverage test, we find excellent agreement with expectation -- 67.2$\%$ of galaxies between $0 < 2.5$ have 1-$σ$ uncertainties that cover the spectroscopic value. We also include a comparison to alternative machine learning models using the same data. We find the BNN meets two out of three of the LSST photo-z science requirements in the range $0 < z < 2.5$.

研究动机与目标

• 开发一种机器学习模型，为大型宇宙学巡天（如LSST）提供准确的测光红移预测，并具备校准良好的不确定性估计。
• 评估贝叶斯神经网络是否能够满足LSST测光红移科学需求，特别是均方根误差（rms error）、偏差（bias）和异常值控制方面的要求。
• 评估测光红移不确定性在识别和减少灾难性异常值预测方面的实用性。
• 在模拟LSST的代表性小规模数据集上，将BNN的性能与标准机器学习模型（如全连接神经网络、随机森林、XGBoost、SVM）进行对比。

提出的方法

• 作者在新整理的来自超深超会巡天（Hyper Suprime-Cam Survey）的星系数据集上训练贝叶斯神经网络（BNN），该数据集包含grizy测光，模拟LSST规模的数据。
• BNN为每个星系输出一个高斯概率分布，使用均值作为红移估计值，标准差作为不确定性估计值。
• 使用LSST的科学需求对模型进行评估，包括均方根误差、偏差和3σ灾难性异常值比例，并引入覆盖度（coverage）和PIT直方图等概率度量。
• 利用BNN的不确定性估计，通过应用zσ截断（zσ cutoff）来标记潜在异常值，即预测不确定性大于zσ的星系被视为可能的异常值。
• 在相同数据集上，将BNN的性能与全连接神经网络、随机森林、XGBoost、SVM及其他成熟测光红移方法进行对比。
• 统计验证包括覆盖度检验，以评估真实光谱红移有68%是否落在1σ不确定性区间内，以及PIT（概率积分变换）直方图分析，以评估预测分布的校准性。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否生成满足LSST科学需求的测光红移估计，包括准确性与不确定性校准？
• RQ2 BNN的不确定性估计与真实红移分布的匹配程度如何？通过覆盖度和PIT直方图分析进行衡量。
• RQ3 测光红移不确定性在多大程度上可用于识别并减少灾难性异常值预测，同时不显著损失可靠的预测？
• RQ4 在代表性数据集上，BNN在均方根误差、偏差和异常值比例方面，与标准机器学习模型（如NN、RF、XGBoost）相比表现如何？

主要发现

• BNN在1σ不确定性区间内覆盖了67.2%的真实光谱红移，表明其不确定性估计校准良好。
• 在红红移范围0 < z < 2.5内，BNN满足LSST测光红移科学需求中的两项：均方根误差低于0.2，偏差低于0.003。
• 使用zσ截断为0.8时，BNN将灾难性异常值数量减少了66.8%，总异常值减少25.0%，仅损失3.2%的非异常值星系。
• 在相同数据集上，BNN在准确性和不确定性校准方面优于其他模型，包括全连接神经网络、随机森林、XGBoost和SVM。
• PIT直方图显示，BNN的预测分布校准良好，无显著过度或不足覆盖。
• 研究识别出训练数据中潜在的偏差，如高红移星系代表性不足，以及对明亮星系的偏向，这些可能影响z > 1.5时的性能。