[论文解读] Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables

Qi Wang, Herke van Hoof|arXiv (Cornell University)|Aug 21, 2020

Neural Networks and Applications被引用 9

一句话总结

本文提出双随机变分神经过程（DSVNP），一种分层潜在变量模型，通过引入全局和目标特定的局部潜在变量，增强神经过程，以提升预测不确定性与表达能力。该方法在多输出回归和不确定性感知图像分类任务中达到最先进性能，优于如AttnNP等确定性基线模型，在分布外（OOD）检测和鲁棒性方面表现更优。

ABSTRACT

Neural processes (NPs) constitute a family of variational approximate models for stochastic processes with promising properties in computational efficiency and uncertainty quantification. These processes use neural networks with latent variable inputs to induce predictive distributions. However, the expressiveness of vanilla NPs is limited as they only use a global latent variable, while target specific local variation may be crucial sometimes. To address this challenge, we investigate NPs systematically and present a new variant of NP model that we call Doubly Stochastic Variational Neural Process (DSVNP). This model combines the global latent variable and local latent variables for prediction. We evaluate this model in several experiments, and our results demonstrate competitive prediction performance in multi-output regression and uncertainty estimation in classification.

研究动机与目标

• 为解决原始神经过程表达能力有限的问题，其仅依赖全局潜在变量，无法捕捉目标特定的变异。
• 开发一种更灵活的变分推理框架，用于随机过程，支持认知不确定性与随机不确定性建模。
• 提升高维回归与分类任务中的预测性能与不确定性估计。
• 系统分析分层潜在变量在提升神经过程模型表达能力中的作用。
• 证明随机局部潜在变量在分布外检测与鲁棒性方面优于确定性变量。

提出的方法

• 提出双随机变分神经过程（DSVNP），在分层潜在变量模型中结合全局潜在变量与目标特定的局部潜在变量。
• 采用带随机重参数化的变分推理框架，实现对全局与局部潜在变量的可微训练。
• 引入联合生成过程，将输出建模为上下文输入以及全局和局部潜在变量的函数，实现灵活的预测分布。
• 使用随机编码器，基于上下文点推断全局与局部潜在变量的后验分布，每次预测独立采样。
• 在推理网络中应用注意力机制，以关注上下文点，提升局部潜在变量的表示能力。
• 采用双重随机梯度估计器优化变分下界（ELBO），实现基于小批量采样的可扩展训练。

实验结果

研究问题

• RQ1 在高维回归任务中，同时整合全局与局部潜在变量是否能显著提升神经过程的预测性能？
• RQ2 在不确定性量化与分布外检测方面，随机局部潜在变量与确定性变量相比表现如何？
• RQ3 DSVNP中的分层潜在结构是否能提升在对抗噪声下的分类泛化能力与鲁棒性？
• RQ4 所提模型在不确定性感知预测中，相较于AttnNP与原始NP等现有变体，优势程度如何？
• RQ5 双重随机变分推理的使用对复杂函数逼近中训练稳定性与收敛性有何影响？

主要发现

• DSVNP在多输出回归任务中表现优异，预测准确率与不确定性校准性均优于原始NP与AttnNP。
• 模型在分布外（OOD）检测方面表现卓越，尤其在对抗噪声下，显著优于确定性AttnNP。
• 在Rademacher数据集上的熵分布显示，DSVNP能维持有意义的不确定性估计，表明对对抗扰动具有鲁棒性。
• 引入随机局部潜在变量可提升不确定性估计与泛化能力，即使仅使用点积注意力进行上下文编码亦然。
• 实验表明，AttnNP中确定性局部潜在变量在领域数据集上未提升性能，反而削弱OOD检测能力，凸显随机性的优势。
• 双重随机变分推理框架使训练复杂度达到O((M+N)N)，具备在高维预测任务中应用的可行性。