[论文解读] MCMC methods for Gaussian process models using fast approximations for the likelihood

Chunyi Wang, Radford M. Neal|arXiv (Cornell University)|May 10, 2013

Gaussian Processes and Bayesian Inference参考文献 9被引用 7

一句话总结

该论文通过利用似然函数的快速近似（例如子集数据法或Nyström-Cholesky）来加速计算，提出了两种高效的MCMC方法——映射到离散化链和温度过渡法，用于高斯过程模型。尽管使用了近似，但两种方法通过采用临时状态空间映射和缓存机制，确保了从真实后验分布中进行精确抽样。实验结果表明，在合成数据集上，与标准MCMC相比，速度最高可提升3倍。

ABSTRACT

Gaussian Process (GP) models are a powerful and flexible tool for non-parametric regression and classification. Computation for GP models is intensive, since computing the posterior density, $π$, for covariance function parameters requires computation of the covariance matrix, C, a $pn^2$ operation, where p is the number of covariates and n is the number of training cases, and then inversion of C, an $n^3$ operation. We introduce MCMC methods based on the "temporary mapping and caching" framework, using a fast approximation, $π^*$, as the distribution needed to construct the temporary space. We propose two implementations under this scheme: "mapping to a discretizing chain", and "mapping with tempered transitions", both of which are exactly correct MCMC methods for sampling $π$, even though their transitions are constructed using an approximation. These methods are equivalent when their tuning parameters are set at the simplest values, but differ in general. We compare how well these methods work when using several approximations, finding on synthetic datasets that a $π^*$ based on the "Subset of Data" (SOD) method is almost always more efficient than standard MCMC using only $π$. On some datasets, a more sophisticated $π^*$ based on the "Nyström-Cholesky" method works better than SOD.

研究动机与目标

• 为解决高斯过程模型中MCMC计算成本过高的问题，该问题由于协方差矩阵求逆而随数据规模呈立方级增长。
• 开发使用后验分布快速近似的MCMC方案，以减少计算时间，同时保持目标分布的精确性。
• 使用多种似然近似方法评估两种新型MCMC框架（映射到离散化链和温度过渡）的性能。
• 识别出在何种条件下，如SOD或Nyström-Cholesky等快速近似方法能显著提升标准MCMC的效率。

提出的方法

• 利用临时映射和缓存框架（Neal, 2006）通过三种映射定义转移：$\hat{T}$、$\bar{T}$ 和 $\check{T}$，这些映射在原始空间 $\mathcal{X}$ 和临时空间 $\mathcal{Y}$ 之间建立联系。
• 在临时空间 $\mathcal{Y}$ 上将近似后验 $\pi^*$（例如SOD或Nyström-Cholesky）用作不变分布 $\rho(y)$，从而实现更快的计算。
• 将转移 $T(x'|x)$ 构造为 $\hat{T}(y|x)$、$\bar{T}(y'|y)$ 和 $\check{T}(x'|y')$ 的复合形式，确保对真实后验 $\pi$ 的细致平衡性和精确性。
• 将温度过渡法作为替代框架，其中转移在多个层次 $\pi_i$ 上定义，且使用 $\pi^*$ 作为中间分布。
• 调整每层的MCMC更新次数以及 $\pi^*$ 中子集 $m$ 的大小，以平衡接受率和混合效率。
• 通过缓存先前计算的 $\pi(x)$ 值来避免重复评估，从而在重复抽样中提高效率。

实验结果

研究问题

• RQ1 能否在不损害后验分布精确性的情况下，利用高斯过程似然的快速近似来加速MCMC抽样？
• RQ2 在使用不同似然近似方法时，映射到离散化链与温度过渡法的性能特征如何比较？
• RQ3 在何种条件下（如数据规模、长度尺度等），SOD近似在MCMC效率上优于Nyström-Cholesky近似？
• RQ4 在温度过渡法中使用多层结构是否能改善混合效果并降低自相关性，相比单层映射？

主要发现

• 在 $n=300$ 且 $p=5$ 的合成数据集上，SOD近似在每秒有效样本数方面始终优于标准MCMC，速度最高可提升3倍。
• 对于长度尺度较大的数据集，使用 $m=10\%$ 的Nyström-Cholesky近似显著优于SOD，能有效降低自相关性并改善混合效果。
• 当长度尺度较小时，除非 $m$ 接近 $n$ 的95\%，否则Nyström-Cholesky近似会变得过慢，导致其效率低于SOD。
• 在所有测试数据集上，使用SOD基 $\pi^*$ 的两层温度过渡法均优于离散化链方法，尤其在高维或复杂后验分布中表现更优。
• 映射到离散化链的方法对调优参数 $r$ 和 $s$ 敏感，当尝试大跳跃时因接受率过低而表现不佳。
• 后验密度评估的缓存机制可减少冗余计算，结合快速 $\pi^*$ 和缓存机制能显著提升MCMC抽样的整体速度。