[论文解读] Distributed Gaussian Processes

Marc Peter Deisenroth, Jun Wei Ng|arXiv (Cornell University)|Feb 10, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用 139

一句话总结

本文提出稳健贝叶斯委员会机（rBCM），一种分布式高斯过程模型，通过将数据分割到独立的计算单元上，训练局部高斯过程专家，并通过闭式乘积-专家推理递归组合预测结果，从而实现对任意大规模数据集的可扩展性。该方法在大规模回归任务中达到最先进性能，包括一个包含600万架次飞行数据的案例，在笔记本电脑上训练时间少于30分钟，且无需使用诱导点或变分参数，即可实现O(10^7)规模数据的可扩展性。

ABSTRACT

Copyright © 2015 by the author(s).To scale Gaussian processes (GPs) to large data sets we introduce the robust Bayesian Committee Machine (rBCM), a practical and scalable product-of-experts model for large-scale distributed GP regression. Unlike state-of-the-art sparse GP approximations, the rBCM is conceptually simple and does not rely on inducing or variational parameters. The key idea is to recursively distribute computations to independent computational units and, subsequently, re-combine them to form an overall result. Efficient closed-form inference allows for straightforward parallelisation and distributed computations with a small memory footprint. The rBCM is independent of the computational graph and can be used on heterogeneous computing infrastructures, ranging from laptops to clusters. With sufficient computing resources our distributed GP model can handle arbitrarily large data sets.

研究动机与目标

• 解决标准高斯过程在大规模数据集上存在的O(N³)计算复杂度和O(N²)内存瓶颈问题。
• 开发一种可扩展的分布式高斯过程框架，避免依赖诱导点或变分参数的稀疏近似方法。
• 实现在从笔记本电脑到集群的异构硬件上高效、并行化的高斯过程推理，同时不牺牲预测准确性。
• 提供一种一致且可解析处理的混合专家与PoE-GP模型的替代方案，避免出现过度自信或过度保守的问题。

提出的方法

• rBCM将完整训练数据集划分为互不重叠的子集，并在每个子集上使用共享超参数独立训练高斯过程专家。
• 它采用树状结构递归聚合来自本地专家的预测结果，通过乘积-专家（PoE）公式组合形成全局后验分布。
• 所有推理均通过解析解实现均值和方差的闭式计算，避免使用MCMC或基于采样的近似方法。
• 该模型采用分层的、与硬件拓扑无关的分布式计算图，支持在多种异构基础设施上部署。
• 整体预测分布通过将各专家预测密度相乘并按其可靠性自然加权得到。
• 超参数通过在对数边际似然上进行梯度上升进行优化，完整梯度通过专家梯度的平均值计算，从而促进正则化。

实验结果

研究问题

• RQ1 是否能够在一个不依赖诱导点或变分参数的分布式高斯过程模型中，实现对O(10^7)数据点的可扩展性？
• RQ2 在大规模非平稳数据集上，与稀疏高斯过程方法相比，乘积-专家高斯过程模型在预测准确性和计算效率方面表现如何？
• RQ3 在异构系统上实现并行化的同时，分布式PoE框架中的递归闭式推理能否保持不确定性校准？
• RQ4 在真实世界回归任务中，rBCM是否能避免标准PoE-GP模型的过度自信问题和广义PoE-GP模型的过度保守问题？
• RQ5 rBCM是否能在计算资源有限的通用硬件上实现极低内存占用、快速收敛并保持高性能？

主要发现

• 在70万架次飞行数据子集上，rBCM的RMSE为27.1，NLPD为9.1，优于SVIGP和Dist-VGP在两项指标上的表现。
• 在500万架次数据集上，rBCM的RMSE为35.5，NLPD为8.8，展现出对大规模非平稳数据的鲁棒性与可扩展性。
• 在笔记本电脑上训练一个百万点的高斯过程模型耗时不足30分钟，凸显其低内存与计算开销。
• rBCM在所有数据规模（70万、200万、500万）下均表现一致，标准误差低于0.3，表明优化过程稳定。
• 该模型显著优于标准BCM和PoE模型，后者分别存在过度自信（PoE）和弱专家问题（BCM）。
• 随着数据规模增大，rBCM的NLPD值保持稳定，表明即使在数据复杂度提升时，其不确定性估计依然可靠。