[论文解读] Interpretable deep Gaussian processes with moments

Chi-Ken Lu, Scott Cheng‐Hsin Yang+2 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用 6

一句话总结

本文通过解析计算精确的二阶与四阶矩，提出可解释的深度高斯过程（DGPs），将DGPs近似为高斯过程，从而实现显式核函数推导与可解释性。该方法揭示了深度带来的非局部、非平稳及多尺度相关性，通过可表达性参数χ识别出高表达力的混沌相，并为同质与异质DGP架构提供了闭式有效核函数，其在不确定性量化与建模能力方面表现出显著优势。

ABSTRACT

Deep Gaussian Processes (DGPs) combine the expressiveness of Deep Neural Networks (DNNs) with quantified uncertainty of Gaussian Processes (GPs). Expressive power and intractable inference both result from the non-Gaussian distribution over composition functions. We propose interpretable DGP based on approximating DGP as a GP by calculating the exact moments, which additionally identify the heavy-tailed nature of some DGP distributions. Consequently, our approach admits interpretation as both NNs with specified activation functions and as a variational approximation to DGP. We identify the expressivity parameter of DGP and find non-local and non-stationary correlation from DGP composition. We provide general recipes for deriving the effective kernels for DGP of two, three, or infinitely many layers, composed of homogeneous or heterogeneous kernels. Results illustrate the expressiveness of our effective kernels through samples from the prior and inference on simulated and real data and demonstrate advantages of interpretability by analysis of analytic forms, and draw relations and equivalences across kernels.

研究动机与目标

• 为解决深度高斯过程（DGPs）中存在的可解释性缺口问题，DGPs虽具强大能力但因复杂的非高斯层次结构而难以理解。
• 通过精确矩计算（特别是二阶与四阶矩）推导有效核函数，实现对DGP行为的解析理解。
• 识别并表征控制DGP组合中有序相与混沌相转换的可表达性参数χ。
• 为包含同质与异质核（等价于激活函数）的多层DGPs提供系统化构建有效核的通用方法。
• 证明基于矩的近似可生成一种既可解释又比标准GP近似更具表达力的变分推理方法。

提出的方法

• 该方法计算DGP后验的精确二阶矩，将完整DGP近似为单层GP，从而实现有效协方差函数的解析推导。
• 进一步计算四阶矩，揭示DGP分布中的重尾特性，表明其具有非高斯行为，并可能产生重尾的预测分布。
• 采用递归方法推导深层架构（如SE[SE[SE]]）的有效核函数，将中间层视为GP后再组合完整层次结构。
• 该方法可推广至任意层数，支持同质与异质核组合，并为每种情况推导出显式公式。
• 通过合成数据与真实数据的先验与后验预测模拟，验证了有效核的性能，表现出强大的建模能力。
• 通过边缘似然优化确定混沌区域（χ ≈ 1），此时表达力达到峰值。

实验结果

研究问题

• RQ1 如何在保持表达力与不确定性量化能力的同时，使深度高斯过程具备可解释性？
• RQ2 二阶与四阶矩在将DGP近似为GP并揭示非高斯特性方面发挥何种作用？
• RQ3 深度如何在DGP组合中诱导非局部与非平稳相关性？
• RQ4 可表达性参数χ在决定DGP模型中有序相与混沌相转换中的作用是什么？
• RQ5 能否基于矩的近似方法，系统性地推导出同质与异质DGP架构的有效核？

主要发现

• 基于矩的近似成功将深度GP转化为可解释的单层GP，实现了任意深度与核组合的有效核函数的解析推导。
• 四阶矩分析揭示了某些DGP模型中的重尾分布，表明DGP后验可能表现出标准GP近似无法捕捉的厚尾特性。
• 可表达性参数χ定义为χ ∝ (σ/ℓ)^(L−1)，控制有效核的衰减与采样函数的平滑度，在χ ≈ 1附近观察到最大边缘似然。
• 对于采用SE[SE[SE]]核的三层DGP，递归核推导（公式28）生成的函数比直接使用二阶矩方法（公式17）更平滑、更受约束，尤其在高χ值时更为明显。
• 超参数优化显示，χ ≈ 1附近对数边缘似然值急剧上升，证实混沌相对应于DGP模型中表达力的峰值。
• 该方法在可解释性方面优于标准变分推理，同时在模拟与真实数据上保持了强大的建模性能，且能清晰地通过解析形式将深度与相关性结构联系起来。