[论文解读] Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs

Yarin Gal, Richard E. Turner|arXiv (Cornell University)|Mar 9, 2015

Gaussian Processes and Bayesian Inference参考文献 26被引用 29

一句话总结

本文提出了一种变分推断方法，用于稀疏谱高斯过程（GP）近似，通过在频率输入中建模不确定性，以改善泛化性能并避免过拟合。通过将协方差函数的有限傅里叶级数近似视为具有变分后验分布的随机变量，该方法在复杂函数上的性能优于标准稀疏谱或伪输入GP近似，且通过随机和分布式变体实现了可扩展的推断。

ABSTRACT

Standard sparse pseudo-input approximations to the Gaussian process (GP) cannot handle complex functions well. Sparse spectrum alternatives attempt to answer this but are known to over-fit. We suggest the use of variational inference for the sparse spectrum approximation to avoid both issues. We model the covariance function with a finite Fourier series approximation and treat it as a random variable. The random covariance function has a posterior, on which a variational distribution is placed. The variational distribution transforms the random covariance function to fit the data. We study the properties of our approximate inference, compare it to alternative ones, and extend it to the distributed and stochastic domains. Our approximation captures complex functions better than standard approaches and avoids over-fitting.

研究动机与目标

• 解决直接优化频率的稀疏谱GP近似中常见的过拟合问题。
• 通过在频率输入中引入不确定性，改进对全局复杂函数的建模。
• 开发一种用于大规模和分布式数据的可扩展推断框架，基于变分推断。
• 通过非平稳、有限秩协方差近似，实现GP回归中合理的不确定性量化。
• 证明该方法在模型复杂度增加时不会出现过拟合，而标准稀疏谱和伪输入方法则会。

提出的方法

• 使用蒙特卡洛积分，通过有限傅里叶级数近似平稳GP协方差函数。
• 将得到的有限傅里叶近似视为具有不可计算后验分布的随机变量。
• 应用变分推断，近似傅里叶系数的后验分布，引入一种变分分布，使协方差能够拟合数据。
• 在傅里叶系数上使用先验分布以正则化模型，防止过拟合。
• 推导出边际似然的下界，使其适用于分布式和随机推断。
• 使用小批量数据和自适应优化（如RMSPROP）实现随机变分推断，从而扩展到大规模数据集。

实验结果

研究问题

• RQ1 在稀疏谱GP近似中建模频率不确定性是否能改善泛化性能并减少过拟合？
• RQ2 所提出的变分推断框架在准确性和鲁棒性方面与标准稀疏谱和稀疏伪输入GP近似相比如何？
• RQ3 该方法是否能通过分布式和随机推断实现高效扩展，同时保持预测性能？
• RQ4 当诱导频率数量增加时，模型是否仍能避免过拟合，特别是在高复杂度场景下？
• RQ5 在真实世界音频数据上，变分稀疏谱GP的性能与全GP和随机投影方法相比如何？

主要发现

• 所提出的VSSGP方法在TIMIT语音数据上的测试集RMSE（0.034）和基于STFT的插补误差（0.3）均优于sSPGP（RMSE 0.034，STFT误差0.43）和基线零预测方法（STFT误差0.62）。
• fVSSGP和sfVSSGP在测试精度上与VSSGP相当（RMSE≈0.034），同时显著降低了时间复杂度，表明对频率的优化不会降低性能。
• sfVSSGP在K=400时的训练时间仅为48分钟，远快于sSPGP的133分钟，同时在测试误差上达到或超越其表现。
• 当诱导点数量超过400时，模型未出现过拟合，测试误差保持稳定，且训练误差持续改善。
• 变分推断的时间复杂度为O(NK²)，随机变体为O(SK²)，支持高效的大规模推断。
• 该方法在准确性和鲁棒性方面均优于基线方法，尤其在如语音信号等全局变化复杂的函数上表现更优。