[论文解读] Compositional uncertainty in deep Gaussian processes

Ivan Ustyuzhaninov, Ieva Kazlauskaite+4 more|arXiv (Cornell University)|Sep 17, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用 6

一句话总结

本文指出，在深度高斯过程（DGPs）中，标准的均值场变分推断会导致组合不确定性崩溃，因为各层之间因子化的变分后验强制执行确定性变换。为解决此问题，作者提出了一种在诱导点中引入跨层依赖关系的结构化变分推断方法，证明此类方法能够保留分层函数组合中的有意义不确定性，从而在时间序列对齐等任务中实现更好的不确定性量化与可解释性。

ABSTRACT

Gaussian processes (GPs) are nonparametric priors over functions. Fitting a GP implies computing a posterior distribution of functions consistent with the observed data. Similarly, deep Gaussian processes (DGPs) should allow us to compute a posterior distribution of compositions of multiple functions giving rise to the observations. However, exact Bayesian inference is intractable for DGPs, motivating the use of various approximations. We show that the application of simplifying mean-field assumptions across the hierarchy leads to the layers of a DGP collapsing to near-deterministic transformations. We argue that such an inference scheme is suboptimal, not taking advantage of the potential of the model to discover the compositional structure in the data. To address this issue, we examine alternative variational inference schemes allowing for dependencies across different layers and discuss their advantages and limitations.

研究动机与目标

• 识别在标准变分推断下深度高斯过程组合不确定性崩溃的根本原因。
• 证明层间均值场假设会导致中间变换趋于确定性，从而削弱模型在分层函数组合中表达不确定性的能力。
• 提出并评估一种显式建模DGP各层之间诱导点依赖关系的替代变分推断方案。
• 阐明跨层相关性在捕捉组合模型中认知不确定性方面的必要性，特别是在时间序列对齐等应用中。
• 通过超越因子化变分近似，为提升DGP中的不确定性量化奠定基础。

提出的方法

• 提出一种结构化变分分布，建模DGP各层之间诱导点的依赖关系，取代标准的均值场假设。
• 引入不同层中诱导点的联合高斯先验，实现相关后验近似，从而保留组合不确定性。
• 开发考虑跨层依赖关系的推断程序，利用重参数化技巧以支持基于梯度的优化。
• 将变分推断框架适配为允许跨层共享诱导点，将组合建模为概率变换而非确定性变换。
• 采用分层先验结构，其中每一层的函数均建模为具有反映数据生成过程先验假设的核函数的高斯过程。
• 在合成数据与真实世界任务（包括时间序列对齐）上验证该方法，通过定性与定量比较基线方法进行评估。

实验结果

研究问题

• RQ1 为何标准的均值场变分推断在深度高斯过程中会导致组合不确定性崩溃？
• RQ2 诱导点中的跨层依赖关系如何影响DGP中组合函数后验分布？
• RQ3 结构化变分推断在在多大程度上能恢复分层函数组合中的有意义认知不确定性？
• RQ4 组合不确定性在时间序列对齐或强化学习等任务中具有何种实际影响？
• RQ5 不同变分近似在保留DGP各层间不确定性方面表现如何？

主要发现

• 在DGP中，标准的均值场变分推断即使在无观测噪声的情况下，也会导致中间层近乎确定性，其原因在于层间因子化假设。
• 组合不确定性崩溃在理论上与带噪声输入的回归模型相关联，其中不确定性被集中于单一层而非在层次结构中分布。
• 在诱导点分布中引入跨层相关性可恢复组合中的有意义不确定性，使多种可能的变换得以表示。
• 所提出的具有联合分布诱导点的结构化变分推断在时间序列数据中产生多样化且合理的对齐结果，而基线方法仅提供点估计。
• 实证结果表明，相关诱导点能带来更鲁棒且可解释的函数组合，尤其在需要不确定性感知推理的任务中表现更优。
• 该方法成功捕捉了时间对齐任务中变形函数与潜在函数的不确定性，避免了序列间退化为单一共享函数。