[论文解读] Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference

Matthias Seeger, Hannes Nickisch|arXiv (Cornell University)|Dec 16, 2010

Gaussian Processes and Bayesian Inference参考文献 23被引用 23

一句话总结

该论文提出了一种新颖的、可证明收敛的期望传播（EP）近似贝叶斯推理算法，适用于连续图模型。通过结合收敛的双循环优化与协方差解耦技术，该方法在保证收敛至驻点的同时，相比标准EP实现了至少一个数量级的速度提升，从而在图像去模糊和重建等复杂模型中实现了更快、更可靠的推理。

ABSTRACT

We propose a novel algorithm to solve the expectation propagation relaxation of Bayesian inference for continuous-variable graphical models. In contrast to most previous algorithms, our method is provably convergent. By marrying convergent EP ideas from (Opper&Winther 05) with covariance decoupling techniques (Wipf&Nagarajan 08, Nickisch&Seeger 09), it runs at least an order of magnitude faster than the most commonly used EP solver.

研究动机与目标

• 解决标准顺序期望传播（EP）算法在连续变量图模型中缺乏收敛性保证的问题。
• 为具有非高斯先验（如拉普拉斯稀疏先验或二值分类似然）的贝叶斯模型开发一种可扩展且可靠的推理方法。
• 在不牺牲精度或收敛性特征的前提下，显著提升现有EP求解器的速度。
• 通过协方差解耦将EP统一为变分优化问题，从而能够应用高效的点估计算法来近似贝叶斯推理。
• 实现在高维问题（如图像去模糊、磁共振成像重建和主动学习）中近似贝叶斯推理的实际部署。

提出的方法

• 采用包含辅助变量 $ \bm{z} $ 和 $ \bm{u}_* $ 的对偶公式，将EP表述为一个拟凸-拟凹优化问题，从而实现强对偶性并提供收敛性保证。
• 提出一种双循环算法：外层循环优化 $ \bm{\theta} = (\bm{\theta}_{-}, \tilde{\bm{\theta}}) $，内层循环通过对偶性求解一个凸-拟凹子问题。
• 用对 $ \bm{z} $ 的直接更新替代标准EP中的方差计算，消除了对 $ \mathrm{Var}_Q[\bm{s}|\bm{y}] $ 的计算需求，从而加速收敛。
• 利用拟凹对偶函数 $ g^*(\bm{z}) = \inf_{\bm{\pi}} \bm{z}^T\bm{\pi} - \log|\bm{A}(\bm{\pi})| $，确保优化过程中的凸性与稳定性。
• 采用[12]中收敛双循环算法的改进版本，并引入协方差解耦，以避免数值不稳定性并提升计算速度。
• 证明强对偶性及非零递减方向的缺失，确保在较弱条件下（如 $ \bm{\pi} \succ \bm{0} $，$ \bm{A}(\bm{\pi}) $ 正定）算法收敛至驻点。

实验结果

研究问题

• RQ1 能否为连续变量图模型中的期望传播设计一种可证明收敛的算法，以克服标准顺序EP缺乏收敛性保证的问题？
• RQ2 如何将协方差解耦技术与收敛EP框架结合，以提升计算效率？
• RQ3 在真实世界的推理任务中，该方法在速度和数值稳定性方面相较于标准EP的性能提升程度如何？
• RQ4 使用包含辅助变量 $ \bm{z} $ 和 $ \bm{u}_* $ 的对偶公式，是否能在不损失精度的前提下实现更快收敛？
• RQ5 该算法能否在保持收敛性和精度的前提下，扩展至高维问题（如图像去模糊和重建）？

主要发现

• 所提算法可证明收敛至EP目标函数的驻点，而标准顺序EP则缺乏此类保证。
• 由于消除了方差计算并采用高效的对偶优化，该方法比最常用的EP求解器至少快一个数量级。
• 算法通过求解具有强对偶性的凸-拟凹优化问题实现收敛，确保了鲁棒性与稳定性。
• 使用 $ g^*(\bm{z}) $ 的对偶公式，并直接更新 $ \bm{z} $ 而非 $ \mathrm{Var}_Q[\bm{s}|\bm{y}] $，显著降低了计算开销。
• 在图像去模糊和重建任务上的实验表明，该方法在收敛速度和数值行为方面优于标准EP，同时保持了高精度。
• 该算法可推广至具有非高斯先验（如拉普拉斯先验、二值分类）的模型，并可通过 $ \log Z(\bm{f}) $ 最大化实现超参数学习。