[论文解读] Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)

Maurizio Filippone, Raphael Engler|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jan 22, 2015

Gaussian Processes and Bayesian Inference参考文献 47被引用 11

一句话总结

本文提出了一种基于随机梯度朗之万动力学（SGLD）与无偏线性系统求解器（ULISSE）结合的高斯过程（GP）协方差参数可扩展、无偏推理方法。ULISSE 允许共轭梯度迭代的无偏提前终止，从而在大规模数据集上实现高效、精确的蒙特卡洛采样，GP 后验分布的推断在标准硬件上不到一天内完成，数据集规模达 22,784 个样本。

ABSTRACT

In applications of Gaussian processes where quantification of uncertainty is of primary interest, it is necessary to accurately characterize the posterior distribution over covariance parameters. This paper proposes an adaptation of the Stochastic Gradient Langevin Dynamics algorithm to draw samples from the posterior distribution over covariance parameters with negligible bias and without the need to compute the marginal likelihood. In Gaussian process regression, this has the enormous advantage that stochastic gradients can be computed by solving linear systems only. A novel unbiased linear systems solver based on parallelizable covariance matrix-vector products is developed to accelerate the unbiased estimation of gradients. The results demonstrate the possibility to enable scalable and exact (in a Monte Carlo sense) quantification of uncertainty in Gaussian processes without imposing any special structure on the covariance or reducing the number of input vectors.

研究动机与目标

• 解决高斯过程中可扩展、精确贝叶斯推断的挑战，其中不确定性量化至关重要。
• 克服传统 MCMC 方法的计算瓶颈，后者需要复杂度为 O(n³) 的昂贵边际似然计算。
• 在不对协方差矩阵施加特殊结构或减少数据规模的前提下，实现大规模 GP 模型的实际推断。
• 开发一种方法，在通过迭代线性求解器的提前停止实现高计算效率的同时保持无偏性。
• 通过在标准台式机硬件上实现，证明在大规模真实世界数据集上对 GP 回归进行完整不确定性量化的可行性。

提出的方法

• 将随机梯度朗之万动力学（SGLD）适配用于在不计算边际似然的情况下，从 GP 协方差参数的后验分布中采样。
• 通过使用共轭梯度（CG）算法求解线性系统来计算随机梯度，该方法依赖于可并行化的协方差矩阵-向量乘积（CMVP）。
• 提出 ULISSE，一种无偏线性系统求解器，可在保持梯度估计无偏性的前提下，实现 CG 迭代的提前终止。
• 利用 GPU 加速的 CMVP 来并行化计算，加快每次 SGLD 迭代中密集线性系统的求解速度。
• 使用从数据小样本中估计的预条件矩阵 M 来提升 SGLD 的收敛速度，尽管调参过程仍具启发式性质。
• 通过 ULISSE 维持梯度估计的无偏性，即使在 CG 提前终止的情况下，也确保整个推断流程的无偏性。

实验结果

研究问题

• RQ1 是否可以在不近似边际似然或不对协方差矩阵施加结构约束的前提下，实现 GP 协方差参数的无偏、可扩展推断？
• RQ2 是否可以使像 CG 这类迭代线性求解器的提前终止保持无偏性，同时仍能收敛到真实的后验分布？
• RQ3 GPU 加速的协方差矩阵-向量乘积在多大程度上能提升大规模数据集上基于 SGLD 的 GP 推断效率？
• RQ4 是否可行使用标准台式机硬件，在包含数万个样本的数据集上，实现 GP 回归的精确（蒙特卡洛意义下）不确定性量化？
• RQ5 在具有密集协方差结构的 GP 模型中，预条件矩阵的选择在 SGLD 中如何影响收敛性和混合效率？

主要发现

• 所提出的结合 ULISSE 的 SGLD 方法，在标准台式机上不到一天内即成功实现了对 22,784 个样本的普查数据集的 GP 协方差参数的精确贝叶斯推断。
• ULISSE 即使在共轭梯度迭代提前终止的情况下，也实现了无偏的梯度估计，从而保持了后验采样过程的有效性。
• 通过五条马尔可夫链的潜在尺度缩减因子（PSRF）值均低于 1.05，确认方法在仅几千次 SGLD 迭代后即实现收敛。
• SGLD 与 ULISSE 结合后，有效样本量约为 0.1%，平均每 2.4 小时生成一个独立样本。
• 该方法在无需低秩近似、稀疏结构或数据子采样的前提下实现了对大规模数据集的扩展，同时保持了完整的不确定性量化能力。
• 使用两块 GPU 使得协方差矩阵-向量乘积的计算高效，使该方法在小规模 GP 推理之外的实际应用中具有可行性。