[论文解读] Integrals over Gaussians under Linear Domain Constraints

Alexandra Gessner, Oindrila Kanjilal+1 more|arXiv (Cornell University)|Oct 21, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用 9

一句话总结

本文提出了一种新颖的黑箱算法，通过结合无拒绝采样方法（lin-ess）与Holmes-Diaconis-Ross（hdr）算法，高效计算在线性域约束下多变量正态分布的高维积分——这在贝叶斯优化和统计建模中很常见。该方法可精确计算极小的概率质量及其对积分的导数，即使在低概率区域的高维空间中也表现良好。

ABSTRACT

Integrals of linearly constrained multivariate Gaussian densities are a frequent problem in machine learning and statistics, arising in tasks like generalized linear models and Bayesian optimization. Yet they are notoriously hard to compute, and to further complicate matters, the numerical values of such integrals may be very small. We present an efficient black-box algorithm that exploits geometry for the estimation of integrals over a small, truncated Gaussian volume, and to simulate therefrom. Our algorithm uses the Holmes-Diaconis-Ross (HDR) method combined with an analytic version of elliptical slice sampling (ESS). Adapted to the linear setting, ESS allows for rejection-free sampling, because intersections of ellipses and domain boundaries have closed-form solutions. The key idea of HDR is to decompose the integral into easier-to-compute conditional probabilities by using a sequence of nested domains. Remarkably, it allows for direct computation of the logarithm of the integral value and thus enables the computation of extremely small probability masses. We demonstrate the effectiveness of our tailored combination of HDR and ESS on high-dimensional integrals and on entropy search for Bayesian optimization.

研究动机与目标

• 解决长期存在的在低概率区域的线性约束域上计算多变量高斯积分的挑战，尤其当概率质量极小时。
• 开发一种在高维空间中低概率区域仍有效的采样方法，避免拒绝采样效率低下问题。
• 实现对积分关于均值和协方差参数的梯度的精确估计，这对优化与推断至关重要。
• 提供统一框架，同时支持高精度积分与从约束高斯分布中精确采样。
• 克服现有方法的局限性，如缺乏保证的期望传播（expectation propagation）和对罕见事件失效的标准蒙特卡洛方法。

提出的方法

• 通过利用椭圆与线性域边界交点的闭式解，将椭球切片采样（ess）算法改造为无拒绝变体lin-ess。
• 使用Holmes-Diaconis-Ross（hdr）算法将积分分解为嵌套域上的条件概率序列，提升数值稳定性和精度。
• 将lin-ess采样器作为hdr内部的提议机制，实现在单一框架内同时完成采样与积分。
• 通过hdr直接计算积分的对数，实现对极小概率质量（如~10⁻⁶）的精确评估，避免数值下溢。
• 通过反向传播lin-ess与hdr组件，实现对积分关于均值与协方差的梯度估计。
• 通过预计算阶段在约束域中寻找初始有效样本，该阶段随维度增长高效，通常计算成本可忽略。

实验结果

研究问题

• RQ1 能否通过利用椭圆与超平面的几何特性，设计一种针对线性约束多变量高斯分布的无拒绝采样方法？
• RQ2 能否将hdr算法与此类采样器有效结合，即使在概率质量极小的情况下，仍能以极高精度计算高维高斯积分？
• RQ3 所提出的框架是否能在高维空间中克服数值挑战，实现对积分关于模型参数的精确梯度估计？
• RQ4 在高维、低概率设置下，lin-ess与拒绝采样及其他蒙特卡洛方法相比性能如何？
• RQ5 该方法能否应用于真实世界问题，如贝叶斯优化中的熵搜索，其中目标区域的概率质量可忽略不计？

主要发现

• lin-ess算法可在概率质量低至~1.6×10⁻⁴时实现从线性约束高斯分布的无拒绝采样，而标准拒绝采样则无法实现。
• hdr-lin-ess组合可直接计算积分的对数，实现对极小概率质量（如~10⁻⁶）的精确评估，避免数值下溢。
• 使用5×10⁵个样本，该方法将正态分布关于其均值与协方差矩阵的梯度估计误差控制在2-范数相对标准差约10⁻²以内，此前该任务无法实现。
• 该算法在贝叶斯优化中表现出色，成功从后验分布中采样，该后验分布条件为最小值位于概率<10⁻⁶的罕见事件区域。
• 该方法高度可并行化，保持高数值精度，尽管计算成本较高，但其无偏性使其在准确性上优于期望传播。
• 为在约束域中寻找初始有效样本的预计算阶段，每子集仅需约16个样本，与主采样阶段成本相比可忽略不计。