[论文解读] Implicit Posterior Variational Inference for Deep Gaussian Processes

Haibin Yu, Yizhou Chen+3 more|arXiv (Cornell University)|Oct 26, 2019

Gaussian Processes and Bayesian Inference被引用 15

一句话总结

该论文提出了隐式后验变分推断（IPVI）用于深度高斯过程（DGPs），将DGP推断建模为双人博弈，以实现无偏后验信念估计并兼顾时间效率。通过利用最优响应动态寻找对应于无偏后验的纳什均衡，IPVI在回归、分类和无监督学习任务中均优于当前最先进方法。

ABSTRACT

A multi-layer deep Gaussian process (DGP) model is a hierarchical composition of GP models with a greater expressive power. Exact DGP inference is intractable, which has motivated the recent development of deterministic and stochastic approximation methods. Unfortunately, the deterministic approximation methods yield a biased posterior belief while the stochastic one is computationally costly. This paper presents an implicit posterior variational inference (IPVI) framework for DGPs that can ideally recover an unbiased posterior belief and still preserve time efficiency. Inspired by generative adversarial networks, our IPVI framework achieves this by casting the DGP inference problem as a two-player game in which a Nash equilibrium, interestingly, coincides with an unbiased posterior belief. This consequently inspires us to devise a best-response dynamics algorithm to search for a Nash equilibrium (i.e., an unbiased posterior belief). Empirical evaluation shows that IPVI outperforms the state-of-the-art approximation methods for DGPs.

研究动机与目标

• 解决确定性DGP近似方法因受限的高斯假设而产生有偏后验信念的局限性。
• 克服SGHMC等随机方法的计算低效性，后者依赖于序列采样且收敛缓慢。
• 开发一种时间高效的无偏后验推断方法用于DGPs，结合确定性与随机方法的优势。
• 在无监督和监督学习设置中实现对复杂、多模态后验分布的精确建模。
• 设计参数共享的生成器架构，以减少过拟合并加速DGP模型的训练与预测。

提出的方法

• 将DGP推断建模为生成器与判别器之间的双人博弈，其中纳什均衡对应于诱导变量的无偏后验信念。
• 利用最优响应动态迭代更新生成器与判别器，收敛至代表真实后验的纳什均衡。
• 设计在DGP各层间实现参数共享的生成器，以强化结构一致性并减少过拟合。
• 借鉴GAN的隐式生成建模思想，无需显式计算似然，即可表示复杂、非高斯的后验分布。
• 通过对抗训练最小化差异度量，使生成器学习生成与真实后验分布匹配的样本。
• 在监督（回归、分类）和无监督（FreyFace重建）任务中，采用变分后验近似应用该框架。

实验结果

研究问题

• RQ1 能否通过博弈论框架实现无偏后验推断，且无需MCMC采样的计算成本？
• RQ2 所提出的双人博弈中的纳什均衡是否对应于DGPs中诱导变量的无偏后验信念？
• RQ3 通过对抗训练实现的隐式后验变分推断能否在预测精度上超越现有确定性与随机DGP近似方法？
• RQ4 所提出的IPVI框架在无监督表征学习任务中，对复杂、多模态后验分布的建模能力如何？
• RQ5 生成器架构中的参数共享在多大程度上提升了DGP模型的泛化能力并减少了过拟合？

主要发现

• IPVI在回归与分类基准上达到最先进性能，优于所有确定性与随机基线方法。
• 在FreyFace数据集上，IPVI准确捕捉了后验分布的多模态特性，能从部分观测中恢复出平静与开心的面部表情。
• 高斯近似无法建模多模态后验，仅能捕捉单一模式（如模式A），而IPVI成功恢复了两个模式（A与B）。
• 实证结果表明，采用参数共享的IPVI在泛化能力、训练与预测速度方面均优于无共享的模型。
• 最优响应动态算法收敛至对应于无偏后验信念的纳什均衡，验证了该框架的理论基础。
• 在监督任务中，IPVI在测试对数似然上优于竞争方法，且RMSE更低，尤其在非高斯后验设置下表现更优。