[论文解读] Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression

Jun Wei Ng, Marc Peter Deisenroth|arXiv (Cornell University)|Dec 9, 2014

Gaussian Processes and Bayesian Inference参考文献 23被引用 25

一句话总结

该论文提出了一种分层专家混合高斯过程模型，通过将计算分布在独立的计算单元上，实现了对大规模数据集的完整高斯过程回归。该方法采用树状结构架构，通过闭式解析重组本地高斯过程专家的预测结果，实现每片叶节点O(N³)的训练复杂度，同时支持大规模并行化，使得在低内存占用和快速收敛条件下训练超过10⁷个数据点成为可能——在笔记本电脑上对1.7×10⁷个点的数据集和百万量级数据集的训练均在30分钟内完成。

ABSTRACT

We propose a practical and scalable Gaussian process model for large-scale nonlinear probabilistic regression. Our mixture-of-experts model is conceptually simple and hierarchically recombines computations for an overall approximation of a full Gaussian process. Closed-form and distributed computations allow for efficient and massive parallelisation while keeping the memory consumption small. Given sufficient computing resources, our model can handle arbitrarily large data sets, without explicit sparse approximations. We provide strong experimental evidence that our model can be applied to large data sets of sizes far beyond millions. Hence, our model has the potential to lay the foundation for general large-scale Gaussian process research.

研究动机与目标

• 解决标准高斯过程回归在大规模数据集（N > 10,000）上存在的计算与内存限制。
• 开发一种可扩展且实用的稀疏高斯过程近似方法的替代方案，避免使用显式的诱导点或低秩近似。
• 通过在独立计算单元间实现大规模并行化，实现对任意大规模数据集的完整高斯过程推理。
• 在大幅降低每个节点计算负载的同时，保持完整高斯过程的预测精度与概率一致性。
• 提供一种框架，支持完整高斯过程训练，且仅需极少超参数调优，无需基于采样的推理。

提出的方法

• 将训练数据分配给c个本地高斯过程专家（叶节点），每个专家在其数据子集上执行完整的高斯过程计算。
• 利用分层树状结构，通过闭式解析运算递归地将本地预测结果重组为全局均值与方差估计。
• 在所有本地专家之间共享超参数（σf, li, σϵ），以保持与完整高斯过程的一致性，并减少过拟合。
• 通过每一层的门控机制导出权重，对本地均值与方差进行加权和的递归重组。
• 通过类似Map-Reduce的架构实现分布式训练，每个节点本地计算，结果通过解析方式组合，无需采样。
• 在每个叶节点缓存核矩阵的逆矩阵（K + σ²ϵI）⁻¹，以加速预测，将单次预测的均值计算成本降低至O(N)，方差计算成本降低至O(N²)。

实验结果

研究问题

• RQ1 分层专家混合模型是否能在不使用稀疏近似的情况下，将完整高斯过程回归扩展至10⁷个点或以上的数据集？
• RQ2 与最先进的稀疏高斯过程方法相比，该模型在预测精度与收敛速度方面表现如何？
• RQ3 通过大规模并行化，该模型在计算与内存效率方面能达到何种程度，同时保持完整高斯过程的统计特性？
• RQ4 在本地专家之间使用共享超参数是否能有效防止过拟合并提升优化稳定性，相较于使用各专家独立参数的模型？
• RQ5 该模型是否能在标准硬件（如笔记本电脑）上高效训练百万量级或以上规模的数据集？

主要发现

• 该模型在1.7×10⁷个点的数据集（kin40K）上训练了完整高斯过程，与真实高斯过程相比的似然比达到0.815，证明其可扩展性已超越典型稀疏高斯过程的极限。
• 在笔记本电脑上训练百万量级数据集耗时不足30分钟，仅需数十轮BFGS迭代即完成收敛——显著快于需要数百甚至数千轮迭代的稀疏高斯过程方法。
• 在航空延误数据集（700,000个训练点）上，HGP的RMSE低于稀疏变分高斯过程（SVGP）与分布式稀疏变分高斯过程（Dist SVGP）方法，表明其具有更优的预测性能。
• 在kin40K数据集上，仅使用4个叶节点（每叶5,000个点）时，该模型的似然比达到0.992，表明即使在极简层次结构下，其近似保真度依然极强。
• 分层重组过程实现了每个测试点O(N)的均值预测与O(N²)的方差预测，同时通过避免存储完整矩阵，保持了较低的内存占用。
• 该模型在多个数据集与不同层次深度下均表现出稳定且准确的性能，似然比随叶节点数量增加而逐步下降，表明其近似质量保持一致。