[논문 리뷰] Uncertain Photometric Redshifts

Kai Polsterer, Antonio D’Isanto외 1명|arXiv (Cornell University)|2016. 08. 29.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 8

한 줄 요약

이 논문은 SDSS DR7 데이터에서 확률적 광학적 적색편이 확률 밀도 함수(PDFs)를 생성하기 위한 실용적인 두 가지 방법—k-최근접 이웃 및 랜덤 포레스트 회귀—을 제안하고 평가한다. 연속 순위 확률 점수(CRPS)와 확률 적분 변환(PIT)을 우수한 평가 도구로 도입하여, 기존 천문학적 평가 지표가 PDF 품질을 올바르게 평가하지 못함을 입증하며, CRPS는 점 추정치나 단순한 가우시안 PDF보다도 뚜렷한 향상을 보임을 보여준다.

ABSTRACT

Photometric redshifts play an important role as a measure of distance for various cosmological topics. Spectroscopic redshifts are only available for a very limited number of objects but can be used for creating statistical models. A broad variety of photometric catalogues provide uncertain low resolution spectral information for galaxies and quasars that can be used to infer a redshift. Many different techniques have been developed to produce those redshift estimates with increasing precision. Instead of providing a point estimate only, astronomers start to generate probabilistic density functions (PDFs) which should provide a characterisation of the uncertainties of the estimation. In this work we present two simple approaches on how to generate those PDFs. We use the example of generating the photometric redshift PDFs of quasars from SDSS(DR7) to validate our approaches and to compare them with point estimates. We do not aim for presenting a new best performing method, but we choose an intuitive approach that is based on well known machine learning algorithms. Furthermore we introduce proper tools for evaluating the performance of PDFs in the context of astronomy. The continuous ranked probability score (CRPS) and the probability integral transform (PIT) are well accepted in the weather forecasting community. Both tools reflect how well the PDFs reproduce the real values of the analysed objects. As we show, nearly all currently used measures in astronomy show severe weaknesses when used to evaluate PDFs.

연구 동기 및 목표

• 점 추정치의 한계를 해결하기 위해 불확실성을 더 잘 반영하는 확률 밀도 함수(PDFs)를 생성함으로써 광학적 적색편이 추정에서의 불확실성 표현을 향상시키는 것.
• 연속 순위 확률 점수(CRPS)와 확률 적분 변환(PIT)을 천문학에서 PDF 평가를 위한 우수한 도구로 도입하고 검증하는 것.
• 천문학에서 일반적으로 사용되는 평가 지표들이 확률적 적색편이 예측의 품질 평가에 부적합함을 입증하는 것.
• 복잡한 모델 아키텍처가 필요 없이 기존의 기계학습 기법인 k-NN 및 랜덤 포레스트를 활용한 간단하고 직관적인 PDF 생성 방법을 제공하는 것—단, 최첨단 성능을 주장하지는 않는다.

제안 방법

• k-최근접 이웃(k-NN) 방법은 특성 공간에서 학습 데이터의 k개의 가장 가까운 객체들의 적색편이 분포를 사용하여 PDF를 생성한다.
• 랜덤 포레스트 회귀 모델은 광학적 특징을 기반으로 256개의 결정 트리를 학습시으며, 개별 트리의 출력 결과가 분포를 이룬다.
• PDF는 네 가지 변형으로 구성된다: 고정된 좁은(σ=0.01) 또는 넓은(σ=0.2) 표준편차를 가진 단일 가우시안, 트리 앙상블의 분포에 기반한 적응형 σ, 그리고 다섯 개의 성분을 가진 가우시안 믹스처 모델(GMM).
• 연속 순위 확률 점수(CRPS)는 예측된 누적분포와 진짜 분포 간의 제곱 차이의 적분을 측정하여 예측된 PDF의 정확도를 정량화하는 데 사용된다.
• 확률 적분 변환(PIT)은 예측된 누적 확률이 균일 분포를 이룬다는 것을 점검함으로써 PDF의 校정(calibration) 정도를 평가하는 데 응용된다.
• 모든 방법은 SDSS DR7 퀘이사 데이터를 대상으로 평가되며, 진짜 값으로 사용된 스펙트로스코픽 적색편이와의 비교를 통해 PDF 성능을 분석한다.

실험 결과

연구 질문

• RQ1 천문학에서 일반적으로 사용되는 평가 지표들은 확률적 광학적 적색편이 예측을 평가할 때 어떻게 작동하는가?
• RQ2 k-NN 및 랜덤 포레스트와 같은 단순한 기계학습 방법들이 복잡한 모델 아키텍처 없이도 신뢰할 수 있는 PDF를 생성할 수 있는가?
• RQ3 CRPS와 PIT는 기존의 지표들보다 얼마나 우수한 성능을 보이며, 확률적 적색편이 추정의 품질 평가에 있어 어떤 정도로 뛰어난가?
• RQ4 단일 가우시안, 적응형 가우시안, 또는 GMM과 같은 PDF 구성 방법의 선택이 결과 예측의 정확도와 校정에 어떤 영향을 미치는가?
• RQ5 다중모달 적색편이 분포는 광학적 적색편이 추정에서 불확실성 정량화에 어떤 영향을 미치는가?

주요 결과

• k-NN 기반 PDF의 CRPS 값은 0.2816으로, 가장 가까운 이웃 점 추정치의 0.3979보다 유의미하게 낮아, 더 나은 확률적 성능을 나타낸다.
• 랜덤 포레스트 기반 GMM(5개 성분)는 CRPS가 0.1960으로, 모든 다른 PDF 구성 방법보다 낮아 가장 뛰어난 성능을 보였다.
• GMM 기반 PDF의 PIT 히스토GRAM은 약간의 과분산만을 보이며, 이는 예측된 불확실성의 보정이 잘 되어 있고 신뢰할 수 있음을 시사한다.
• 고정된 좁은 σ=0.01을 가진 단일 가우시안 PDF는 PIT를 통해 극도로 과소분산됨이 확인되어, 이러한 단순한 접근 방식의 실패를 드러낸다.
• 이 연구는 천문학에서 기존에 사용되는 지표들이 PDF 평가에 부적합하다는 것을 입증하며, CRPS와 PIT는 강력하고 해석 가능하며 통계적으로 타당한 평가 프레임워크를 제공함을 보여준다.
• 저자들은 향후 천문학적 설계에서 확률적 적색편이 추정의 평가를 위한 표준 도구로 CRPS와 PIT가 되어야 한다고 결론 내린다.