[论文解读] How Deep Are Deep Gaussian Processes?

Matthew M. Dunlop, Mark Girolami+2 more|arXiv (Cornell University)|Nov 30, 2017

Gaussian Processes and Bayesian Inference参考文献 22被引用 5

一句话总结

本文通过将深度高斯过程（DGPs）建模为跨层的条件高斯、马尔可夫序列为统一框架，提出了一种统一的深度高斯过程（DGPs）框架。研究表明，遍历性或收敛到平凡解的特性限制了有效深度，导致更深的DGPs因混合时间或退化而收益递减——这意味着除非显式设计非遍历结构，否则实际推理收益在2–3层后即达到上限。

ABSTRACT

Recent research has shown the potential utility of Deep Gaussian Processes. These deep structures are probability distributions, designed through hierarchical construction, which are conditionally Gaussian. In this paper, the current published body of work is placed in a common framework and, through recursion, several classes of deep Gaussian processes are defined. The resulting samples generated from a deep Gaussian process have a Markovian structure with respect to the depth parameter, and the effective depth of the resulting process is interpreted in terms of the ergodicity, or non-ergodicity, of the resulting Markov chain. For the classes of deep Gaussian processes introduced, we provide results concerning their ergodicity and hence their effective depth. We also demonstrate how these processes may be used for inference; in particular we show how a Metropolis-within-Gibbs construction across the levels of the hierarchy can be used to derive sampling tools which are robust to the level of resolution used to represent the functions on a computer. For illustration, we consider the effect of ergodicity in some simple numerical examples.

研究动机与目标

• 将多种深度高斯过程构造统一于一个递归的、条件高斯的共同框架下。
• 利用底层马尔可夫链的遍历性特性，分析DGPs的有效深度。
• 通过吉布斯内梅特罗波利斯采样方法开发对函数分辨率不敏感的稳健推理工具。
• 阐明为何尽管理论上支持更深架构，实践中仅浅层DGPs（2–3层）通常有效。

提出的方法

• 将DGPs建模为马尔可夫链，其中每一层满足 $ u_{n+1} \mid u_n \sim \mathcal{N}(m(u_n), C(u_n)) $，其均值和协方差算子依赖于前一层。
• 通过递归定义四类DGPs：基于组合的、基于卷积的、非平稳协方差的，以及非平稳协方差算子。
• 利用转移核的谱性质分析离散化DGPs的遍历性，将混合时间与有效深度关联。
• 在函数空间中应用吉布斯内梅特罗波利斯采样，实现对离散化分辨率不敏感的稳健推理。
• 采用非中心化参数化以提升后验采样中MCMC的混合效率与稳定性。
• 通过弱收敛定理研究渐近行为，表明在迭代下收敛至零或无穷。

实验结果

研究问题

• RQ1 深度高斯过程的有效深度是什么？它如何由其马尔可夫结构的遍历性决定？
• RQ2 尽管理论上支持更深架构，为何DGPs的实际应用通常仅使用2–3层？
• RQ3 能否基于分层高斯条件依赖关系，统一多种DGP构造的共同框架？
• RQ4 协方差算子或均值函数的选择如何影响DGPs的稳定性和表达能力？
• RQ5 遍历性以及收敛到平凡解在多大程度上限制了贝叶斯推理中深层先验的实用性？

主要发现

• 定理4表明，组合型DGPs在足够深时会收敛至常数函数，这一病态可通过更宽的层或输入依赖变换避免。
• 定理8建立了具有非平稳协方差函数的离散化DGPs的遍历性，意味着在混合时间之后增加层数不再带来收益。
• 定理14证明了在一类非平稳协方差算子上，函数空间中也存在类似遍历性，进一步强化了深度限制。
• 定理16表明，迭代卷积DGPs在层数增加时要么弱收敛至零，要么发散，限制了其在推理中的实用性。
• 数值实验表明，数据质量决定了最优深度：高质量数据可能从更多层中受益，但低质量数据会限制有效深度。
• 对先验 $ u_n $ 的分析无法直接推广至后验 $ u_n \mid y $，表明实际层数由数据信息量决定，而非先验深度。