[论文解读] Deep learning with differential Gaussian process flows

Pashupati Hegde, Markus Heinonen+2 more|Research Explorer (The University of Manchester)|Oct 9, 2018

Gaussian Processes and Bayesian Inference被引用 22

一句话总结

本文提出了一种基于微分高斯过程流的深度学习方法，这是一种连续时间的深度学习框架，通过在输入空间中使用随机微分方程（SDEs）对数据变换进行建模。通过在无限深度、无穷小的流中对输入进行变形，该方法在回归和分类任务中实现了最先进性能，优于深度高斯过程和神经网络，同时使用更少的诱导参数。

ABSTRACT

We propose a novel deep learning paradigm of differential flows that learn a stochastic differential equation transformations of inputs prior to a standard classification or regression function. The key property of differential Gaussian processes is the warping of inputs through infinitely deep, but infinitesimal, differential fields, that generalise discrete layers into a dynamical system. We demonstrate state-of-the-art results that exceed the performance of deep Gaussian processes and neural networks

研究动机与目标

• 为解决离散层深度网络的局限性和深度高斯过程中的退化问题，通过将变换建模为连续流来改进。
• 在原始特征空间中实现灵活的非线性输入变形，而无需学习中间潜在表示。
• 通过基于扩散的合理正则化，利用随机微分方程提升模型容量和泛化能力。
• 与深度高斯过程相比，减少所需参数数量，同时保持或超越性能表现。
• 通过显式分析流中的变换路径，提供更具可解释性的深度学习框架。

提出的方法

• 该方法使用随机微分方程（SDEs）对输入变换进行建模，这些方程在输入空间中定义了连续、平滑且可微的流。
• 每个数据点沿由具有漂移和扩散分量的SDE控制的连续路径进行变换，实现无限深度、无穷小的变换。
• 通过在空间和时间上使用具有诱导点的稀疏高斯过程来近似SDE，实现高效的推理。
• 该模型使用具有时间和空间诱导点的连续时间流，以参数化SDE的漂移场和扩散场。
• 通过变分推理近似后验分布，最小化边缘似然的下界，并采用结构化变分分布。
• 该框架支持非时间性和时间性扩展，通过更长的积分时间增加模型容量。

实验结果

研究问题

• RQ1 通过SDE建模的连续时间流是否能在预测性能上超越离散层深度网络？
• RQ2 与潜在空间模型相比，通过SDE在输入空间中直接建模变换是否能改善泛化能力并减少过拟合？
• RQ3 基于SDE的合理贝叶斯方法是否能以比深度高斯过程更少的参数实现最先进结果？
• RQ4 增加流时间（积分时间）如何影响模型容量和性能？
• RQ5 连续流框架是否能通过追踪单个数据点的变换路径，支持可解释的决策路径？

主要发现

• 在HIGGS和SUSY UCI分类基准上，所提出的DiffGP模型分别实现了0.878和0.842的AUC分数，与DGP和DNN的最佳报告结果相当或更优。
• 在Protein回归数据集上，该模型实现了最先进性能，相较于DGP表现更优，表明其对长程相关性的强建模能力。
• 将流时间从1增加到10显著降低了测试误差和似然值，性能在T≈10附近趋于饱和，表明容量扩展得到良好控制。
• 在多个回归基准（包括Concrete和Energy）上，该模型优于深度高斯过程，且使用的诱导参数更少。
• 该模型的时间扩展版本在HIGGS上实现了0.878的AUC，在SUSY上实现了0.846的AUC，与最佳DGP结果相当，但参数化更高效。
• 在Wine和Energy等小样本数据集上，该模型保持了强劲性能，而浅层GPs表现最优，表明尽管模型容量增加，但未出现过拟合。