[论文解读] Deep Gaussian Covariance Network

Kevin Cremanns, Dirk Roos|arXiv (Cornell University)|Oct 17, 2017

Gaussian Processes and Bayesian Inference参考文献 34被引用 14

一句话总结

本文提出深度高斯协方差网络（DGCN），一种新颖框架，利用深度神经网络学习输入相关的超参数——具体为相关长度尺度 θ 和噪声方差 σ²——用于高斯过程。通过实现非平稳、自适应的协方差函数，并支持批量/在线学习，DGCN 在各类回归与时间序列任务中均提升了预测精度，优于所有测试基准中的最先进方法，包括深度高斯过程。

ABSTRACT

The correlation length-scale next to the noise variance are the most used hyperparameters for the Gaussian processes. Typically, stationary covariance functions are used, which are only dependent on the distances between input points and thus invariant to the translations in the input space. The optimization of the hyperparameters is commonly done by maximizing the log marginal likelihood. This works quite well, if the distances are uniform distributed. In the case of a locally adapted or even sparse input space, the prediction of a test point can be worse dependent of its position. A possible solution to this, is the usage of a non-stationary covariance function, where the hyperparameters are calculated by a deep neural network. So that the correlation length scales and possibly the noise variance are dependent on the test point. Furthermore, different types of covariance functions are trained simultaneously, so that the Gaussian process prediction is an additive overlay of different covariance matrices. The right covariance functions combination and its hyperparameters are learned by the deep neural network. Additional, the Gaussian process will be able to be trained by batches or online and so it can handle arbitrarily large data sets. We call this framework Deep Gaussian Covariance Network (DGCP). There are also further extensions to this framework possible, for example sequentially dependent problems like time series or the local mixture of experts. The basic framework and some extension possibilities will be presented in this work. Moreover, a comparison to some recent state of the art surrogate model methods will be performed, also for a time dependent problem.

研究动机与目标

• 解决平稳高斯过程在非均匀或稀疏输入空间中相关长度尺度 θ 不够理想的问题。
• 开发一种可扩展的、端到端可训练的框架，自动学习每个测试点的最优协方差函数组合与超参数。
• 支持高斯过程的批量和在线学习，克服大规模数据应用中的计算瓶颈。
• 通过深度神经网络学习动态超参数，提升序列性与非平稳问题（如时间序列）中的预测性能。

提出的方法

• 训练一个深度神经网络（DNN）以预测每个测试点 x* 处高斯过程的输入相关超参数 θ*(x*) 和 σ²*(x*)。
• 多个协方差函数在预测中以加法方式组合，其各自的超参数由 DNN 联合优化。
• 该框架支持小批量和在线训练，通过避免完整的协方差矩阵求逆，实现在任意大规模数据集上的高效学习。
• 使用标准深度学习优化器（如 ADAM）优化超参数，以对数边际似然作为目标函数。
• 通过将过去输入/输出作为特征输入，该模型可扩展至序列问题，实现时间依赖性的建模。
• DNN 不仅学习超参数，还学习不同核类型之间的最优组合，以提升泛化能力。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习高斯过程的输入相关超参数，从而在非平稳或稀疏输入区域提升预测性能？
• RQ2 所提出的 DGCN 框架在多样化回归与时间序列任务中，与最先进代理模型（包括深度高斯过程）相比，性能如何？
• RQ3 DGCN 框架在多大程度上可通过小批量或在线学习实现可扩展训练，以应对大规模数据集？
• RQ4 DGCN 能否在无需人工调参的情况下自动选择并组合多种协方差函数，从而实现更好的泛化？
• RQ5 通过学习的空间变化长度尺度 θ*，该模型是否能提供改进的局部敏感性估计？

主要发现

• 在波士顿房价数据集中，DGCN 的 RMSE 低于所有对比方法，平均 RMSE 为 0.259 ± 0.01（次佳方法为 0.285）。
• 在 UCI 回归基准测试中，DGCN 在五组中的四组优于深度高斯过程（DGP），RMSE 分别为 3.67 ± 0.06（concrete）、0.37 ± 0.01（energy 1）、0.54 ± 0.01（energy 2）和 0.06 ± 0.00（kin8nm）。
• 在 power 数据集中，DGCN 达到 2.91 ± 0.00 的 RMSE，略优于 DGP 的 2.95 ± 0.30，尽管后者方差更高。
• 该框架在不同问题类型（包括时间序列与回归）中表现出一致性能，且无需重新调整 DNN 架构。
• 该模型通过批量处理实现了可扩展训练，使大规模数据集（如 kin8nm，8,192 个样本；power，9,568 个样本）的高效处理成为可能。