[论文解读] Handling the Positive-Definite Constraint in the Bayesian Learning Rule

Lin Wu, Mark Schmidt+1 more|arXiv (Cornell University)|Feb 24, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用 4

一句话总结

本文提出了一种基于黎曼梯度的贝叶斯学习规则改进方法，可自然地在变分推断中强制协方差矩阵满足正定约束。通过利用块坐标自然参数化，该方法无需进行线搜索即可确保约束满足，从而在高斯分布及高斯混合模型近似中实现更快的收敛速度和更高的稳定性，且计算开销极低。

ABSTRACT

The Bayesian learning rule is a natural-gradient variational inference method, which not only contains many existing learning algorithms as special cases but also enables the design of new algorithms. Unfortunately, when variational parameters lie in an open constraint set, the rule may not satisfy the constraint and requires line-searches which could slow down the algorithm. In this work, we address this issue for positive-definite constraints by proposing an improved rule that naturally handles the constraints. Our modification is obtained by using Riemannian gradient methods, and is valid when the approximation attains a \emph{block-coordinate natural parameterization} (e.g., Gaussian distributions and their mixtures). We propose a principled way to derive Riemannian gradients and retractions from scratch. Our method outperforms existing methods without any significant increase in computation. Our work makes it easier to apply the rule in the presence of positive-definite constraints in parameter spaces.

研究动机与目标

• 解决贝叶斯学习规则在优化过程中违反协方差矩阵正定约束的问题。
• 消除在约束参数空间中因回溯线搜索而导致的收敛速度下降问题。
• 从第一性原理出发，系统推导黎曼梯度与重收缩（retraction）的严谨方法，用于约束变分推断。
• 在保持计算效率的同时，确保更新后的参数始终位于正定流形上。
• 使贝叶斯学习规则在具有协方差约束的高维模型（如深度学习和概率图模型）中具备鲁棒的应用能力。

提出的方法

• 该方法在正定矩阵流形上使用黎曼梯度下降重新表述贝叶斯学习规则。
• 提出一种改进的更新规则，通过引入黎曼几何特性，自然地保持正定约束。
• 该方法源自块坐标自然（BCN）参数化，其中费舍尔信息矩阵具有块对角结构。
• 从零开始计算黎曼梯度与重收缩，确保更新过程始终位于流形上，无需投影或线搜索。
• 对于高斯分布及高斯混合模型近似，该方法相比原始规则仅增加少量且恒定的计算开销。
• 该方法在深度学习与贝叶斯逻辑回归任务中得到验证，显示出更高的数值稳定性和更快的收敛速度。

实验结果

研究问题

• RQ1 贝叶斯学习规则能否被修改，以在不依赖线搜索的情况下自然地强制协方差矩阵满足正定约束？
• RQ2 如何系统性地应用黎曼几何来推导变分推断中约束更新的公式？
• RQ3 所提出的方法是否在保持计算效率的同时，提升了高维设置下的收敛性与稳定性？
• RQ4 该方法能否应用于复杂模型（如具有全协方差近似的贝叶斯神经网络）？
• RQ5 与现有约束优化技术相比，该黎曼更新在步长选择与内存使用方面表现如何？

主要发现

• 在合成与真实世界的贝叶斯推断任务中，所提方法的收敛速度均快于原始贝叶斯学习规则与基线方法。
• 与无约束变换方法相比，该方法可采用更大的步长，从而提升优化稳定性并降低迭代成本。
• 在内存受限环境中，该方法所需的内存少于Salimbeni等人（2018）提出的基于变换的方法。
• 当标准梯度已预先计算时，该方法在每次迭代的计算成本上至少比基线方法快6–10倍。
• 该方法成功解决了深度学习中VOGN算法的实现问题，确保协方差更新保持正定。
• 即使在高维空间（如300维）中，该方法仍能高精度地近似复杂后验分布（如高斯混合分布与重尾分布）。