[论文解读] Large-scale Heteroscedastic Regression via Gaussian Process

Haitao Liu, Yew-Soon Ong+1 more|arXiv (Cornell University)|Nov 3, 2018

Gaussian Processes and Bayesian Inference参考文献 75被引用 7

一句话总结

该论文通过引入 VSHGP、SVSHGP 和 DVSHGP 等变体，提出了适用于大规模异方差高斯过程回归的可扩展推理方法，实现了高效的稀疏化、随机化和分布式变分推理。这些方法在保持输入相关噪声的非参数建模与不确定性量化的同时，在大规模数据集上实现了最先进性能。

ABSTRACT

Heteroscedastic regression considering the varying noises among observations has many applications in the fields like machine learning and statistics. Here we focus on the heteroscedastic Gaussian process (HGP) regression which integrates the latent function and the noise function together in a unified non-parametric Bayesian framework. Though showing remarkable performance, HGP suffers from the cubic time complexity, which strictly limits its application to big data. To improve the scalability, we first develop a variational sparse inference algorithm, named VSHGP, to handle large-scale datasets. Furthermore, two variants are developed to improve the scalability and capability of VSHGP. The first is stochastic VSHGP (SVSHGP) which derives a factorized evidence lower bound, thus enhancing efficient stochastic variational inference. The second is distributed VSHGP (DVSHGP) which (i) follows the Bayesian committee machine formalism to distribute computations over multiple local VSHGP experts with many inducing points; and (ii) adopts hybrid parameters for experts to guard against over-fitting and capture local variety. The superiority of DVSHGP and SVSHGP as compared to existing scalable heteroscedastic/homoscedastic GPs is then extensively verified on various datasets.

研究动机与目标

• 解决异方差高斯过程（HGP）回归中存在的立方时间复杂度问题，该问题限制了其在大规模数据场景中的应用。
• 提出一种变分稀疏推理框架（VSHGP），以降低计算成本，同时保留对输入相关噪声的不确定性建模能力。
• 通过使用因子化证据下界实现小批量优化的随机变分推理（SVSHGP），提升可扩展性。
• 通过 DVSHGP 实现分布式计算，该方法采用多个局部专家与混合参数，以提升泛化能力并捕捉局部数据变化。
• 在多种真实世界数据集上，证明所提方法在性能与可扩展性方面优于现有的同方差与异方差高斯过程方法。

提出的方法

• 提出 VSHGP，一种变分稀疏推理算法，对潜在函数 $ f $ 和噪声函数 $ g $ 均使用诱导点，将复杂度从 $ O(n^3) $ 降低至 $ O(m^3 + u^3) $，其中 $ m $ 和 $ u $ 分别为函数与噪声的诱导点数量。
• 通过推导模型证据的因子化下界，提出 SVSHGP，实现基于小批量数据的高效随机优化。
• 基于贝叶斯委员会机框架设计 DVSHGP，将计算分布至 $ M $ 个局部 VSHGP 专家，每个专家拥有 $ m_0 $ 和 $ u_0 $ 个诱导点。
• 在 DVSHGP 中使用混合参数，以融合局部与全局信息，降低过拟合风险并提升对局部数据特征的建模能力。
• 采用自然梯度优化方法更新后验分布 $ q(m{f}_m) $ 和 $ q(m{g}_u) $，利用 Fisher 信息加速收敛。
• 通过向量化运算推导出核超参数与诱导点位置的闭式梯度，尽管参数空间维度较高，仍显著提升了计算效率。

实验结果

研究问题

• RQ1 变分稀疏推理能否被有效扩展至异方差高斯过程回归，以实现在大规模数据集上的可扩展推理？
• RQ2 采用因子化下界的随机变分推理是否能提升大规模 HGP 训练的效率与收敛速度？
• RQ3 通过多个局部专家实现的分布式学习是否在可扩展性与预测性能方面优于集中式推理？
• RQ4 在分布式专家中使用混合参数如何提升 HGP 模型的泛化能力与对过拟合的鲁棒性？
• RQ5 所提方法——VSHGP、SVSHGP 和 DVSHGP——在异方差与同方差回归任务中，相较于现有可扩展高斯过程方法，其性能优势在多大程度上得以体现？

主要发现

• SVSHGP 通过利用小批量随机优化与因子化证据下界，相比标准 VSHGP 实现了更快的收敛速度与更低的训练时间。
• DVSHGP 通过在多个专家间分布计算，在保持不确定性量化的同时，展现出在大规模数据集上的卓越可扩展性与预测准确性。
• DVSHGP 中混合参数的使用有效降低了过拟合风险，并提升了对非平稳或异质数据区域中局部数据变化的建模能力。
• 实证结果表明，DVSHGP 与 SVSHGP 在多种数据集的同方差与异方差回归基准测试中，均优于现有可扩展高斯过程方法。
• 所提方法在显著降低计算成本的同时，保持了高预测精度，使 HGP 能够应用于包含数万个样本的数据集。