[论文解读] Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models

Yarin Gal, Mark van der Wilk+1 more|arXiv (Cornell University)|Feb 6, 2014

Gaussian Processes and Bayesian Inference参考文献 16被引用 84

一句话总结

该论文提出了一种用于稀疏高斯过程回归和潜在变量模型的分布式变分推断算法，通过一种重新参数化方法解耦给定诱导点的数据，从而实现高效的Map-Reduce并行化。该方法可扩展至200万个数据点，在航班和MNIST数据集上性能优于基线模型，且在节点间保持良好的负载均衡，通信开销极低。

ABSTRACT

Gaussian processes (GPs) are a powerful tool for probabilistic inference over functions. They have been applied to both regression and non-linear dimensionality reduction, and offer desirable properties such as uncertainty estimates, robustness to over-fitting, and principled ways for tuning hyper-parameters. However the scalability of these models to big datasets remains an active topic of research. We introduce a novel re-parametrisation of variational inference for sparse GP regression and latent variable models that allows for an efficient distributed algorithm. This is done by exploiting the decoupling of the data given the inducing points to re-formulate the evidence lower bound in a Map-Reduce setting. We show that the inference scales well with data and computational resources, while preserving a balanced distribution of the load among the nodes. We further demonstrate the utility in scaling Gaussian processes to big data. We show that GP performance improves with increasing amounts of data in regression (on flight data with 2 million records) and latent variable modelling (on MNIST). The results show that GPs perform better than many common models often used for big data.

研究动机与目标

• 解决稀疏高斯过程模型在大规模数据上的可扩展性限制。
• 为GP回归和潜在变量模型实现高效、负载均衡的分布式推断。
• 证明通过可扩展推断，随着数据量增加，GP性能可得到提升。
• 开发一种分布式算法，在保持Titsias（2009）提出的紧密变分下界的同时，支持并行化。
• 展示大规模GP在真实世界数据集（如航班数据和MNIST）上的实际应用价值。

提出的方法

• 通过一种重新参数化方法重构证据下界（ELBO），解耦给定诱导点的数据，实现节点独立更新。
• 应用Map-Reduce范式将计算分布到各节点，节点间仅需常数时间通信。
• 采用诱导目标上变分分布的解析最优形式，保留了Titsias（2009）提出的ELBO的紧密性。
• 通过解耦数据依赖关系，实现GPLVM中潜在变量嵌入的并行优化。
• 使用Map-Reduce框架在Python中实现该算法，并开源发布。
• 采用LBFGS和SCG优化器分别进行超参数和诱导点的优化，并采用细致的初始化策略。

实验结果

研究问题

• RQ1 在保持ELBO紧密性的同时，能否高效地分布化稀疏GP回归和GPLVM中的变分推断？
• RQ2 所提出的分布式算法在数据规模和计算资源增加时，其可扩展性如何？
• RQ3 在更大规模数据集（如200万个样本）上训练高斯过程，是否相比标准模型能获得更优的预测性能？
• RQ4 该算法在分布式环境中能否保持负载均衡并维持低通信开销？
• RQ5 当在大规模数据集上训练时，GP的性能与随机森林和线性模型等常见大数据模型相比如何？

主要发现

• 所提出的分布式推断方法成功扩展至200万条航班记录，RMSE达到35.31，优于线性回归（37.65）、岭回归（37.65）、随机森林（37.33），甚至优于使用200个诱导点的SVI方法。
• 在完整的MNIST数据集（6万样本）上，GPLVM在使用全部数据训练时，分类错误率从8.98%降至5.95%，表明数据量增加可显著提升性能。
• 使用64个核心训练200万个样本，每次迭代耗时约13.8分钟，表明其在计算资源增加时具有良好的可扩展性。
• LBFGS优化器在收敛稳定性方面优于SCG，尤其在大规模数据集上，SCG因似然模式变尖而收敛至较差的极小值。
• 该算法实现了节点间均衡的负载分配，且节点间仅需常数时间通信，从而实现了高效的并行化。
• 开源实现通过补充材料中的随机节点失效实验，验证了其对节点故障的鲁棒性。