[論文レビュー] Improving Photometric Redshift Estimation for Cosmology with LSST using Bayesian Neural Networks

Evan Jones, Tuan Do+4 more|arXiv (Cornell University)|Jun 22, 2023

Advanced Statistical Methods and Models被引用数 5

ひとこと要約

本論文は、LSST調査の準備として、grizy光度測定を用いたHyper Suprime-Camデータセットを用いて、光度赤方偏移（photo-z）推定のためのベイジアンニューラルネットワーク（BNN）を提案する。BNNは、正確な赤方偏移予測と適切にキャリブレーションされた不確実性推定を提供し、LSSTのphoto-z科学的要件の2/3を満たし、0.8σの不確実性カットオフを用いることで、壊滅的外れ値を66.8%削減する。

ABSTRACT

We present results exploring the role that probabilistic deep learning models can play in cosmology from large-scale astronomical surveys through photometric redshift (photo-z) estimation. Photo-z uncertainty estimates are critical for the science goals of upcoming large-scale surveys such as LSST, however common machine learning methods typically provide only point estimates and lack uncertainties on predictions. We turn to Bayesian neural networks (BNNs) as a promising way to provide accurate predictions of redshift values with uncertainty estimates. We have compiled a galaxy data set from the Hyper Suprime-Cam Survey with grizy photometry, which is designed to be a smaller scale version of large surveys like LSST. We use this data set to investigate the performance of a neural network (NN) and a probabilistic BNN for photo-z estimation and evaluate their performance with respect to LSST photo-z science requirements. We also examine the utility of photo-z uncertainties as a means to reduce catastrophic outlier estimates. The BNN outputs the estimate in the form of a Gaussian probability distribution. We use the mean and standard deviation as the redshift estimate and uncertainty. We find that the BNN can produce accurate uncertainties. Using a coverage test, we find excellent agreement with expectation -- 67.2$\%$ of galaxies between $0 < 2.5$ have 1-$σ$ uncertainties that cover the spectroscopic value. We also include a comparison to alternative machine learning models using the same data. We find the BNN meets two out of three of the LSST photo-z science requirements in the range $0 < z < 2.5$.

研究の動機と目的

• LSSTのような大規模な宇宙論的調査に適した、正確な光度赤方偏移予測と適切にキャリブレーションされた不確実性を提供する機械学習モデルの開発。
• ベイジアンニューラルネットワークが、LSSTのphoto-z科学的要件（特にrms誤差、バイアス、外れ値制御）を満たすかどうかの評価。
• 光度赤方偏移の不確実性が、壊滅的外れ値の予測を特定・低減するためにどの程度有効であるかの評価。
• LSSTを模倣した代表的で小規模なデータセット上で、標準的な機械学習モデル（例：全結合NN、ランダムフォレスト、XGBoost、SVM）と比較してBNNの性能を評価。

提案手法

• 著者らは、LSSTスケールのデータを模倣するため、grizy光度測定を用いたHyper Suprime-Cam調査から新たに構築した銀河データセットを用いて、ベイジアンニューラルネットワーク（BNN）を学習する。
• BNNは各銀河に対してガウス確率分布を出力し、平均を赤方偏移推定値、標準偏差を不確実性推定値として使用する。
• LSSTの科学的要件（rms誤差、バイアス、3σ壊滅的外れ値率）に加え、カバレッジとPITヒストограмなどの確率的指標を用いてモデルを評価する。
• BNNの不確実性推定値を用いて、zσカットオフを適用することで潜在的な外れ値を特定する。具体的には、予測不確実性がzσを超える銀河は外れ値の可能性が高いとみなす。
• 同じデータセット上で、全結合ニューラルネットワーク、ランダムフォレスト、XGBoost、SVM、および他の既存のphoto-z手法と比較してBNNの性能を評価する。
• 統計的妥当性評価として、真の分光的赤方偏移が1σ不確実性区間内に68%の割合で含まれるかを検証するカバレッジテストと、予測分布のキャリブレーションを評価するPIT（確率積分変換）ヒストограм分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークは、LSSTの科学的要件（精度と不確実性キャリブレーション）を満たす光度赤方偏移推定を提供できるか？
• RQ2 カバレッジとPITヒストограм分析によって測定した場合、BNNの不確実性推定値は真の赤方偏移分布とどの程度整合しているか？
• RQ3 光度赤方偏移の不確実性を、信頼性の高い推定値をあまり損なわずに、壊滅的外れ値の予測を特定・低減するためにどの程度活用できるか？
• RQ4 代表的データセット上で、BNNの性能（rms誤差、バイアス、外れ値率）は、標準的な機械学習モデル（例：NN、RF、XGBoost）と比較してどの程度優れているか？

主な発見

• BNNは、真の分光的赤方偏移が1σ不確実性区間内に67.2%含まれており、不確実性推定値が適切にキャリブレーションされていることを示している。
• 赤方偏移範囲0 < z < 2.5において、BNNはLSSTのphoto-z科学的要件の3つ中2つを満たしている：rms誤差が0.2未満、バイアスが0.003未満。
• zσカットオフを0.8に設定した場合、BNNは壊滅的外れ値を66.8%削減し、全外れ値数も25.0%削減したが、非外れ値銀河のうちたった3.2%しか除外しなかった。
• 同じデータセット上で、全結合ニューラルネットワーク、ランダムフォレスト、XGBoost、SVMなど、他のモデルと比較してBNNは精度と不確実性キャリブレーションの両面で優れた性能を示した。
• PITヒストограмの結果、BNNの予測分布は適切にキャリブレーションされており、顕著な過剰または不足カバレッジは認められなかった。
• 本研究では、訓練データに潜在的なバイアスが存在することが判明した。具体的には、高赤方偏移銀河の過小代表と、明るい銀河へのバイアスが、z > 1.5の領域での性能に影響を与える可能性がある。