[论文解读] Deep Structured Mixtures of Gaussian Processes

Martin Trapp, Robert Peharz+2 more|TU/e Research Portal|Oct 10, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用 12

一句话总结

该论文提出深度结构化高斯过程混合模型（DSMGPs），一种新颖的随机过程模型，通过将求和-乘积网络（SPN）与高斯过程（GP）专家结合，实现精确且高效的后验推断。通过采用类似SPN的分层混合结构组织高斯过程，DSMGPs在计算成本、可扩展的超参数优化以及不确定性量化方面优于以往基于专家的GP近似方法，其预测准确性和不确定性校准性能优于传统GP和变分近似方法。

ABSTRACT

Gaussian Processes (GPs) are powerful non-parametric Bayesian regression models that allow exact posterior inference, but exhibit high computational and memory costs. In order to improve scalability of GPs, approximate posterior inference is frequently employed, where a prominent class of approximation techniques is based on local GP experts. However, local-expert techniques proposed so far are either not well-principled, come with limited approximation guarantees, or lead to intractable models. In this paper, we introduce deep structured mixtures of GP experts, a stochastic process model which i) allows exact posterior inference, ii) has attractive computational and memory costs, and iii) when used as GP approximation, captures predictive uncertainties consistently better than previous expert-based approximations. In a variety of experiments, we show that deep structured mixtures have a low approximation error and often perform competitive or outperform prior work.

研究动机与目标

• 解决大规模回归任务中完整高斯过程（GPs）带来的高计算与内存开销问题。
• 克服现有局部专家GP近似方法的局限性，这些方法或缺乏精确推断，或存在不确定性校准差，或需要不可行的推断过程。
• 开发一种原理严谨、可扩展的GP近似方法，实现精确后验推断，同时保持低计算与内存成本。
• 通过借鉴求和-乘积网络（SPNs）的分层混合结构，提升GP模型的不确定性量化能力。
• 通过结构化计算与共享Cholesky分解，实现高效的超参数优化与非平稳建模。

提出的方法

• 该模型采用分层SPN结构，其中叶节点为高斯过程（GPs），在输入空间的不同区域代表局部专家。
• 通过SPN的测度论扩展定义该模型，使其能够表示连续域上的随机过程。
• 利用SPN推断算法精确计算后验分布，通过利用条件独立性与局部计算避免完整的GP求逆。
• 该模型能够对指数级数量的朴素局部专家（NLE）配置进行贝叶斯模型平均，隐式编码了高斯过程的混合。
• 在GP叶节点之间共享Cholesky分解，以加速计算，尤其在多个专家共享输入划分时效果显著。
• 该结构通过SPN的分层路由机制实现局部GP超参数的自适应调整，支持非平稳建模。

实验结果

研究问题

• RQ1 分层GP专家混合结构是否能在保持计算效率的同时实现精确后验推断？
• RQ2 与现有局部专家和变分GP近似方法相比，结构化GP混合的不确定性校准性能如何？
• RQ3 共享Cholesky分解在GP混合模型中能在多大程度上降低计算成本？
• RQ4 该模型结构是否可通过局部超参数自适应支持非平稳时间序列建模？
• RQ5 专家数量及其划分方式对预测性能与不确定性估计的影响如何？

主要发现

• DSMGPs在平均绝对误差（MAE）和负对数预测密度（NLPD）上均持续优于其他基于专家的GP近似方法，表明其具备更优的预测准确性和不确定性校准能力。
• 在蛋白质和year数据集上，DSMGPs的NLPD低于完整GP，表明其在作为近似模型时具备更优的不确定性量化能力。
• DSMGPs中的有效混合成分数量可极大——在year数据集上高达4.3 × 10^18，且无需显式枚举，完全依赖SPN结构的隐式编码。
• 该模型在超参数优化方面实现了具有竞争力的运行时间，与当前最先进的变分GP方法相当，且可通过分布式计算进一步加速。
• 在合成实验中，共享Cholesky分解使计算速度提升两倍，从而能够探索两倍数量的输入划分。
• 增加每个求和节点的子节点数（K_S）可补偿专家容量低（M）的缺陷，表明模型对超参数选择具有鲁棒性。