[论文解读] Data Analysis Recipes: Products of multivariate Gaussians in Bayesian inferences

David W. Hogg, Adrian M. Price-Whelan+1 more|arXiv (Cornell University)|May 28, 2020

Particle physics theoretical and experimental studies参考文献 9被引用 5

一句话总结

本文提出了一种在贝叶斯推断中对线性参数进行边缘化问题的闭式解析解，当似然函数和先验分布均为具有线性均值依赖关系的多元正态分布时适用。通过利用两个正态分布的乘积仍为正态分布的性质，该方法将联合后验分解为边缘化证据和后验分布，从而在天文学和物理学中常见的线性-高斯模型中实现更快、更精确的推断。

ABSTRACT

A product of two Gaussians (or normal distributions) is another Gaussian. That's a valuable and useful fact! Here we use it to derive a refactoring of a common product of multivariate Gaussians: The product of a Gaussian likelihood times a Gaussian prior, where some or all of those parameters enter the likelihood only in the mean and only linearly. That is, a linear, Gaussian, Bayesian model. This product of a likelihood times a prior pdf can be refactored into a product of a marginalized likelihood (or a Bayesian evidence) times a posterior pdf, where (in this case) both of these are also Gaussian. The means and variance tensors of the refactored Gaussians are straightforward to obtain as closed-form expressions; here we deliver these expressions, with discussion. The closed-form expressions can be used to speed up and improve the precision of inferences that contain linear parameters with Gaussian priors. We connect these methods to inferences that arise frequently in physics and astronomy. If all you want is the answer, the question is posed and answered at the beginning of Section 3. We show two toy examples, in the form of worked exercises, in Section 4. The solutions, discussion, and exercises in this Note are aimed at someone who is already familiar with the basic ideas of Bayesian inference and probability.

研究动机与目标

• 推导线性-高斯贝叶斯模型中线性参数边缘化的闭式解。
• 提升涉及具有高斯先验的线性参数的贝叶斯推断中的计算效率和数值精度。
• 提供一种实用且可解析处理的方法，适用于天体物理学和数据科学中的实际问题。
• 证明当似然函数和先验分布均为联合高斯分布且关于参数线性时，边缘化可无需数值积分完成。
• 通过解析因子分解降低计算负担，支持在高维参数空间中的推断工作流。

提出的方法

• 利用数学性质：两个多元正态分布的乘积仍为另一个正态分布。
• 假设似然函数在数据上为正态分布，其均值关于参数线性（通过设计矩阵 M），且先验在参数上为正态分布，其均值为 μ，协方差为 Λ。
• 应用贝叶斯定理，将联合后验重新表达为边缘化证据与后验的乘积，二者均为可解析处理的正态分布。
• 推导边缘化证据和后验分布的均值与协方差的闭式表达式。
• 在正态分布概率密度函数中使用无坐标系的行列式与二次型表达式，避免显式依赖维度。
• 通过线性回归和径向速度建模两个实例验证该方法，结果表明计算速度显著提升且具有数值稳定性。

实验结果

研究问题

• RQ1 在具有线性-高斯先验的线性-高斯贝叶斯模型中，是否可以无需数值积分完成线性参数的边缘化？
• RQ2 当似然函数和先验均为多元正态分布时，边缘化证据和后验分布的均值与协方差的闭式表达式是什么？
• RQ3 与标准的 MCMC 或数值积分方法相比，该解析方法在贝叶斯推断中如何提升计算效率和数值精度？
• RQ4 在哪些天体物理场景下，该方法能带来最显著的性能提升？
• RQ5 该方法能否推广至具有非线性参数层次结构或超先验结构的模型？

主要发现

• 具有线性均值依赖关系的多元正态似然函数与多元正态先验的乘积，产生一个可被解析分解为边缘化证据和后验分布的联合后验，二者均为多元正态分布。
• 边缘化证据和后验分布的均值与协方差均以闭式表达，可直接计算，无需积分或采样。
• 该方法在涉及具有高斯先验的线性参数的推断任务中显著提升计算速度和数值精度，尤其在高维情形下优势明显。
• 该方法在两个实际应用中得到验证：线性回归问题和双星系统径向速度建模，其结果表明推理速度加快且避免了数值不稳定性。
• 所推导的表达式与维度无关，采用正态分布概率密度函数的无坐标系形式，避免对数据或参数维度的显式依赖。
• 通过将冗余线性参数的边缘化与非线性超参数的推断解耦，该方法实现了高效的层次化推断。