[论文解读] How to obtain the redshift distribution from probabilistic redshift estimates

Alex I. Malz, David W. Hogg|arXiv (Cornell University)|Jul 23, 2020

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文提出了CHIPPR，一种统计上严谨的概率图模型，通过考虑红移不确定性而无需将概率密度函数（PDF）简化为点估计，能够正确恢复光谱红移分布 $n(z)$。该研究证明了传统堆叠估计器在低信噪比情况下系统性地存在偏差，且仅通过显式先验（如CHIPPR）的方法才能从光谱红移PDF中实现自洽且无偏的推断。

ABSTRACT

A trustworthy estimate of the redshift distribution $n(z)$ is crucial for using weak gravitational lensing and large-scale structure of galaxy catalogs to study cosmology. Spectroscopic redshifts for the dim and numerous galaxies of next-generation weak-lensing surveys are expected to be unavailable, making photometric redshift (photo-$z$) probability density functions (PDFs) the next-best alternative for comprehensively encapsulating the nontrivial systematics affecting photo-$z$ point estimation. The established stacked estimator of $n(z)$ avoids reducing photo-$z$ PDFs to point estimates but yields a systematically biased estimate of $n(z)$ that worsens with decreasing signal-to-noise, the very regime where photo-$z$ PDFs are most necessary. We introduce Cosmological Hierarchical Inference with Probabilistic Photometric Redshifts (CHIPPR), a statistically rigorous probabilistic graphical model of redshift-dependent photometry, which correctly propagates the redshift uncertainty information beyond the best-fit estimator of $n(z)$ produced by traditional procedures and is provably the only self-consistent way to recover $n(z)$ from photo-$z$ PDFs. We present the $ exttt{chippr}$ prototype code, noting that the mathematically justifiable approach incurs computational expense. The CHIPPR approach is applicable to any one-point statistic of any random variable, provided the prior probability density used to produce the posteriors is explicitly known; if the prior is implicit, as may be the case for popular photo-$z$ techniques, then the resulting posterior PDFs cannot be used for scientific inference. We therefore recommend that the photo-$z$ community focus on developing methodologies that enable the recovery of photo-$z$ likelihoods with support over all redshifts, either directly or via a known prior probability density.

研究动机与目标

• 为弱引力透镜和大尺度结构宇宙学中从光谱红移（photo-$z$）概率密度函数（PDF）中恢复红移分布 $n(z)$ 的关键需求，提供一种无偏且统计一致的方法。
• 识别并纠正广泛使用的 $n(z)$ 堆叠估计器中的系统性偏差，该偏差源于将PDF简化为点估计，且在低信噪比时更为严重。
• 确立仅当方法具有显式已知先验时，才能从光谱红移PDF中实现有效科学推断，尤其是在标准光谱红移流程中先验为隐含的情况下。
• 提供一个数学上可辩护的框架——CHIPPR——通过层次化推断传播红移不确定性，确保 $n(z)$ 的自洽恢复。
• 倡导光谱红移社区优先采用输出完整似然函数或显式定义先验的方法，以确保与严谨统计推断的兼容性。

提出的方法

• 构建了一个层次化贝叶斯模型CHIPPR，将红移分布 $n(z)$ 视为超参数，并通过概率图模型对观测测光和真实红移的联合分布进行建模。
• 利用贝叶斯规则推导出真实 $n(z)$ 的超参数 $\boldsymbol{\phi}$ 的完整对数后验分布，其表达式为仅依赖可观测量的红移积分：光谱红移PDF和隐含先验 $\mathrm{p}(z\mid\boldsymbol{\phi}^*)$。
• 通过显式引入隐含先验 $\boldsymbol{\phi}^*$，将不可访问的似然函数转化为可访问的后验分布，使已知的光谱红移PDF能够在严谨的推断框架中使用。
• 推导出完整对数后验的关键方程（A.10），该方程结合了真实 $n(z)$ 下的数据对数似然和先验对数，适用于马尔可夫链蒙特卡洛（MCMC）采样。
• 将该模型应用于已知光谱红移PDF的星系样本，以恢复 $n(z)$，确保不确定性与系统误差在推断过程中得到正确传播。
• 证明当先验显式已知时，该方法是唯一能自洽地从光谱红移PDF中恢复 $n(z)$ 的方法；若先验为隐含的（如许多当前光谱红移流程中），则从PDF中进行科学推断在根本上是无效的。

实验结果

研究问题

• RQ1 是否存在一种统计上严谨的方法，可在不将PDF简化为点估计的前提下，从光谱红移PDF中恢复真实的红移分布 $n(z)$？
• RQ2 为何标准的 $n(z)$ 堆叠估计器会产生系统性偏差，尤其是在低信噪比区域？
• RQ3 从光谱红移PDF中实现有效科学推断的必要条件是什么？在实践中如何确保这些条件？
• RQ4 在宇宙学巡天中，如何正确地通过层次化推断传播红移不确定性和系统误差？
• RQ5 是否存在一种数学上唯一且自洽的方法，用于从光谱红移PDF中推断 $n(z)$？若存在，其形式为何？

主要发现

• 标准的 $n(z)$ 堆叠估计器存在系统性偏差，尤其在低信噪比时，其根源在于将完整PDF简化为点估计。
• CHIPPR 提供了一种数学上严谨且自洽的框架，通过显式建模红移相关测光的层次结构，从光谱红移PDF中恢复 $n(z)$。
• 该方法的完整对数后验（方程A.10）仅依赖于可观测量：光谱红移PDF和隐含先验 $\mathrm{p}(z\mid\boldsymbol{\phi}^*)$，使其可通过MCMC实现计算可行性。
• 本文证明，只有显式已知先验的方法才能实现有效推断；若先验为隐含的（如许多当前光谱红移流程中），则从PDF中进行科学推断在根本上是无效的。
• 作者建议光谱红移社区应将重点转向输出完整似然函数或显式定义先验的方法，以确保与严谨统计推断的兼容性。
• CHIPPR 被视为唯一经过严格证明正确的从光谱红移PDF中恢复 $n(z)$ 的方法，但需注意其计算成本高于标准估计器。