[論文レビュー] Uncertain Photometric Redshifts

Kai Polsterer, Antonio D’Isanto+1 more|arXiv (Cornell University)|Aug 29, 2016

Gaussian Processes and Bayesian Inference参考文献 3被引用数 8

ひとこと要約

本稿では、SDSS DR7データから確率的フォトメトリック赤方偏移確率密度関数（PDF）を生成するための実用的で2つの手法—k近傍法とランダムフォレスト回帰—を提案および評価する。連続ランク確率スコア（CRPS）と確率積分変換（PIT）を、PDFの品質を評価する優れたツールとして導入し、標準的な天文学的指標がPDFの品質を適切に評価できないことを示している。CRPSは、点推定値や単純なガウスPDFよりも顕著な改善を示している。

ABSTRACT

Photometric redshifts play an important role as a measure of distance for various cosmological topics. Spectroscopic redshifts are only available for a very limited number of objects but can be used for creating statistical models. A broad variety of photometric catalogues provide uncertain low resolution spectral information for galaxies and quasars that can be used to infer a redshift. Many different techniques have been developed to produce those redshift estimates with increasing precision. Instead of providing a point estimate only, astronomers start to generate probabilistic density functions (PDFs) which should provide a characterisation of the uncertainties of the estimation. In this work we present two simple approaches on how to generate those PDFs. We use the example of generating the photometric redshift PDFs of quasars from SDSS(DR7) to validate our approaches and to compare them with point estimates. We do not aim for presenting a new best performing method, but we choose an intuitive approach that is based on well known machine learning algorithms. Furthermore we introduce proper tools for evaluating the performance of PDFs in the context of astronomy. The continuous ranked probability score (CRPS) and the probability integral transform (PIT) are well accepted in the weather forecasting community. Both tools reflect how well the PDFs reproduce the real values of the analysed objects. As we show, nearly all currently used measures in astronomy show severe weaknesses when used to evaluate PDFs.

研究の動機と目的

• 点推定値の限界を克服し、不確実性をよりよく表現する確率的密度関数（PDF）を生成すること。
• 連続ランク確率スコア（CRPS）と確率積分変換（PIT）を、天文学におけるPDFの評価に優れたツールとして導入・検証すること。
• 天文学で一般的に用いられる評価指標が、確率的赤方偏移予測の品質を適切に評価できないことを実証すること。
• k-NN やランダムフォレストといった確立された機械学習手法を用いて、複雑なモデルアーキテクチャを必要としない、アクセス可能で直感的なPDF生成アプローチを提供すること。ただし、最先端の性能を主張するものではない。

提案手法

• k近傍法（k-NN）は、特徴空間におけるk番目の近隣トレーニングオブジェクトの赤方偏移分布を用いてPDFを生成する。
• ランダムフォレスト回帰モデルは、フォトメトリック特徴量に基づいて256本の決定木をトレーニングし、個々の木の出力が分布を形成する。
• PDFは4つのバリエーションで構築される：固定された狭い（σ=0.01）または広い（σ=0.2）標準偏差の単一ガウス分布、木のアンサンブルの分散に基づく適応的σ、および5成分のガウス・ミックスチャネル・モデル（GMM）。
• 連続ランク確率スコア（CRPS）は、累積予測分布と真の分布の二乗差の積分を測定することで、予測されたPDFの正確性を定量化する。
• 確率積分変換（PIT）は、予測された累積確率が一様分布に従うかどうかをチェックすることで、PDFのキャリブレーションを評価する。
• すべての手法は、真の値としてスペクトロスコピック赤方偏移を用いるSDSS DR7クェーサー・データ上で評価された。

実験結果

リサーチクエスチョン

• RQ1 天文学で一般的に用いられる標準的評価指標は、確率的フォトメトリック赤方偏移予測の評価において、どの程度有効であるか？
• RQ2 k-NN やランダムフォレストのような単純な機械学習手法は、複雑なモデルアーキテクチャを必要とせず、フォトメトリック赤方偏移用に信頼性の高いPDFを生成できるか？
• RQ3 CRPSとPITは、従来の指標に比べて、確率的赤方偏移推定の品質をどの程度うまく評価できるか？
• RQ4 単一ガウス、適応的ガウス、またはGMMといったPDF構築手法の選択が、予測の正確性とキャリブレーションにどの程度影響を与えるか？
• RQ5 多峰性を持つ赤方偏移分布は、フォトメトリック赤方偏移推定における不確実性の定量化にどのような意味を持つのか？

主な発見

• k-NNに基づくPDFのCRPS値は0.2816であり、最近傍点推定の0.3979よりも顕著に低く、確率的性能の向上を示している。
• ランダムフォレストに基づく5成分のGMMは、CRPSが0.1960と、他のすべてのPDF構築手法を上回った。
• GMMベースのPDFのPITヒストグラムはわずかな過分散を示しており、予測された不確実性のキャリブレーションが良好で信頼性が高いことを示している。
• 固定された狭いσ=0.01の単一ガウスPDFは、PITによって確認された極端な過小分散を示し、このような単純なアプローチの失敗を浮き彫りにしている。
• 本研究では、天文学で一般的に用いられる従来の指標がPDFの評価に不適切であることを示しており、CRPSとPITは、堅牢で解釈可能で統計的に妥当な評価フレームワークを提供することがわかった。
• 著者らは、今後の天文学的調査における確率的赤方偏移推定の評価に、CRPSとPITを標準ツールとして採用すべきだと結論づけている。