[论文解读] Accounting for sample selection in Bayesian analyses

S. R. Hinton, Alex Kim+1 more|arXiv (Cornell University)|Jun 12, 2017

Statistical Methods and Bayesian Inference参考文献 2被引用 4

一句话总结

本文提出了一种贝叶斯框架，通过使用解析近似和蒙特卡洛积分将选择效率整合到似然函数中，以校正统计分析中的样本选择偏差。该方法通过基于模拟选择概率对观测数据重新加权，能够在截断或有偏数据的情况下实现准确推断——例如超新星宇宙学中的情况——显著提高参数估计的准确性，而无需完整的解析解。

ABSTRACT

Astronomers are often confronted with funky populations and distributions of objects: brighter objects are more likely to be detected; targets are selected based on colour cuts; imperfect classification yields impure samples. Failing to account for these effects leads to biased analyses. In this paper we present a simple overview of a Bayesian consideration of sample selection, giving solutions to both analytically tractable and intractable models. This is accomplished via a combination of analytic approximations and Monte Carlo integration, in which dataset simulation is efficiently used to correct for issues in the observed dataset. This methodology is also applicable for data truncation, such as requiring densities to be strictly positive. Toy models are included for demonstration, along with discussions of numerical considerations and how to optimise for implementation. We provide sample code to demonstrate the techniques. The methods in this paper should be widely applicable in fields beyond astronomy, wherever sample selection effects occur.

研究动机与目标

• 解决科学数据中普遍存在的样本选择偏差问题，例如检测阈值和观测截断，这些偏差会导致参数推断偏差。
• 开发一种实用且可推广的贝叶斯方法，用于在选择效应扭曲观测数据集时校正似然函数。
• 提供一种计算高效的框架，结合解析近似与蒙特卡洛积分，以处理难以解析求解的选择模型。
• 在玩具模型和真实场景（包括超新星宇宙学和截断数据）中展示该方法的有效性。
• 提供开源代码以确保可复现性，并促进该方法在天文学以外领域的广泛应用。

提出的方法

• 通过整合选择概率 $ P(S|\text{data}, \theta) $ 构建校正后的似然函数，该概率源自数据与选择的联合概率。
• 利用贝叶斯定理将似然函数重写为 $ \mathcal{L} = \frac{P(S|\text{data}, \theta) P(\text{data}|\theta)}{P(S|\theta)} $，其中分母是关于所有可能数据的不可解析积分。
• 应用蒙特卡洛积分，通过从提议分布 $ P(D|\theta_{\text{approx}}) $ 中抽取样本 $ D_i $ 来近似不可解析的分母，然后使用 $ \frac{P(S|D_i)}{P(D_i|\theta_{\text{approx}})} $ 进行重新加权。
• 使用预计算的权重避免在MCMC过程中重复计算选择概率，从而显著提高计算效率。
• 采用对数空间计算，以在将似然函数提升到观测数量次幂时保持数值稳定性。
• 通过最小化 $ \log(\mathcal{L}_2) $ 的方差来优化准确性，确保后验估计的稳健性。

实验结果

研究问题

• RQ1 当观测数据因检测阈值或颜色截断等选择效应而系统性偏差时，如何校正贝叶斯推断？
• RQ2 在选择效应导致无法进行解析积分的模型中，如何高效且准确地计算似然函数？
• RQ3 如何将蒙特卡洛积分与解析近似结合，以在计算成本可控的前提下校正选择偏差？
• RQ4 在高维或截断参数空间中实现似然校正时，有哪些数值最佳实践？
• RQ5 如何在最小化MCMC采样计算开销的同时最大化校正的准确性？

主要发现

• 该方法在解析可解和不可解模型中均成功校正了样本选择偏差，与朴素推断相比，显著提高了后验估计的准确性。
• 使用预计算权重的蒙特卡洛积分显著降低了计算成本，避免了在MCMC过程中重复评估选择概率。
• 高估提议分布的方差（$ \sigma_{\text{approx}} $）比低估更安全，可确保充分覆盖参数空间。
• 通过 $ \frac{P(S|D_i)}{P(D_i|\theta_{\text{approx}})} $ 的重新加权机制，可在不为每次参数抽取重新计算选择效率的情况下高效评估似然函数。
• 对数空间计算确保了数值稳定性，尤其在似然函数需提升至观测数量次幂时表现更优。
• 该方法具有广泛适用性，不仅限于天文学，还可应用于具有截断或右删失数据的生物学和物理学领域。