[论文解读] Projected Stein Variational Gradient Descent

Peng Chen, Omar Ghattas|arXiv (Cornell University)|Feb 9, 2020

Markov Chains and Monte Carlo Methods参考文献 23被引用 19

一句话总结

本文提出投影 Stein 变分梯度下降（pSVGD），一种用于高维贝叶斯推断的可扩展方法，通过利用对数似然函数梯度信息，将参数投影到低维子空间。在约化后的系数空间中应用 SVGD，pSVGD 在准确性和可扩展性方面均优于标准 SVGD，维度压缩超过 300×，且在高达 16,641 维的情况下仍保持高精度。

ABSTRACT

The curse of dimensionality is a longstanding challenge in Bayesian inference in high dimensions. In this work, we propose a projected Stein variational gradient descent (pSVGD) method to overcome this challenge by exploiting the fundamental property of intrinsic low dimensionality of the data informed subspace stemming from ill-posedness of such problems. We adaptively construct the subspace using a gradient information matrix of the log-likelihood, and apply pSVGD to the much lower-dimensional coefficients of the parameter projection. The method is demonstrated to be more accurate and efficient than SVGD. It is also shown to be more scalable with respect to the number of parameters, samples, data points, and processor cores via experiments with parameters dimensions ranging from the hundreds to the tens of thousands.

研究动机与目标

• 解决高维贝叶斯推断中的维度灾难问题，即计算复杂度随参数数量呈指数增长。
• 利用后验分布的内在低维性，该性质源于不适定性及数据驱动的子空间结构。
• 开发一种可扩展的确定性变分推断方法，在具有复杂似然函数的高维问题中保持高精度。
• 通过自适应投影减少维度，同时保持后验保真度，实现对大规模问题的高效推断。
• 在参数、样本、数据点和处理器核心方面实现强可扩展性。

提出的方法

• 利用对数似然函数梯度信息矩阵，将高维参数投影到低维子空间，该矩阵捕捉了数据驱动的变动方向。
• 通过梯度信息矩阵的特征分解自适应构建子空间，以捕捉主导的后验驱动方向。
• 在投影参数的低维系数空间中应用 Stein 变分梯度下降（SVGD），实现高效的后验近似。
• 在适当假设下，证明系数空间中的传输与投影参数空间中的传输等价，确保后验保真度。
• 采用线搜索进行步长选择，并实现并行算法以计算梯度、核函数评估及样本更新，从而实现强可扩展性。
• 通过截断子空间，使 λ_{r+1} < 10^{-2}，确保后验中投影误差较小。

实验结果

研究问题

• RQ1 基于对数似然梯度信息构建的低维子空间，能否有效捕捉高维贝叶斯推断中的后验分布？
• RQ2 将推断问题投影到该子空间是否能在降低计算成本的同时保持后验精度？
• RQ3 与标准 SVGD 相比，pSVGD 在参数数量、样本数、数据点数和处理器核心数方面的可扩展性如何？
• RQ4 能否通过梯度信息矩阵特征值的衰减来有界且可控地控制投影误差？
• RQ5 在所提出的框架下，系数空间中的传输是否与投影参数空间中的传输等价？

主要发现

• pSVGD 在 289 至 16,641 维范围内均能保持对后验方差的高精度捕捉，而标准 SVGD 在高维下失效。
• 该方法实现了超过 300× 的维度压缩，仅保留约 50 个有效维度（r ≈ 50），对应最高达 16,641 维的参数空间，相对投影误差 𝒪(𝑟) < 10^{-6}。
• 特征值迅速衰减（约 7 个数量级），证实了低维后验驱动子空间的存在。
• 不同维度下的平均步长范数衰减趋势相似，表明其在参数数量上具有可扩展性。
• pSVGD 在样本数（N）、数据点数（s）和处理器核心数（K）方面均表现出强可扩展性，固定工作量下 CPU 时间近乎按 O(K⁻¹) 衰减。
• 该方法在数据点数方面表现出弱可扩展性，因为随着 s 从 7² 增加到 63²，特征值衰减速率保持一致。