[论文解读] Meta-Amortized Variational Inference and Learning

Mike Wu, Kristy Choi+2 more|arXiv (Cornell University)|Feb 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 11

一句话总结

本文提出元摊销变分推断（meta-amortized variational inference），一种双重摊销框架，可在相关概率模型和数据变换之间学习可迁移的潜在表征。通过在一组分布（例如旋转或缩放的 MNIST）上训练 MetaVAE，该方法在下游分类任务中实现显著性能提升（MNIST 上提升 10–50%，NORB 上提升 10–35%），通过学习对视觉变换的不变性。

ABSTRACT

Despite the recent success in probabilistic modeling and their applications, generative models trained using traditional inference techniques struggle to adapt to new distributions, even when the target distribution may be closely related to the ones seen during training. In this work, we present a doubly-amortized variational inference procedure as a way to address this challenge. By sharing computation across not only a set of query inputs, but also a set of different, related probabilistic models, we learn transferable latent representations that generalize across several related distributions. In particular, given a set of distributions over images, we find the learned representations to transfer to different data transformations. We empirically demonstrate the effectiveness of our method by introducing the MetaVAE, and show that it significantly outperforms baselines on downstream image classification tasks on MNIST (10-50%) and NORB (10-35%).

研究动机与目标

• 解决变分推断在适应新相关数据分布时泛化能力差的挑战。
• 开发一种元推断框架，将计算摊销至输入和相关概率模型两者之上。
• 学习对旋转、缩放和剪切等数据变换具有不变性的可迁移潜在表征。
• 通过统一的推断过程，提升在变换图像分布上的下游分类性能。
• 证明元摊销推断相较于标准 VAE 或分层基线方法，能实现更好的不变性学习。

提出的方法

• 提出一种新的变分下界——MetaELBO，联合优化多个相关概率模型及其输入上的推断。
• 引入一个生成模型族的元分布，支持在数据变换和模型结构之间共享计算。
• 采用元编码器将每个输入和模型类型（例如旋转图像）映射到共享潜在表征，实现对整个族的推断摊销。
• 使用先验正则化项，确保每个模型的生成分布与其对应的数据边缘分布相匹配。
• 使用 MetaELBO 目标训练 MetaVAE，使模型在推理阶段能泛化至未见过的变换。
• 采用 L2 距离分析量化不同变换类型下表征的不变性。

实验结果

研究问题

• RQ1 摊销推断能否扩展至泛化于相关概率模型族，而不仅限于输入？
• RQ2 在变换之间学习共享表征是否能提升下游任务中的不变性与泛化能力？
• RQ3 元摊销推断与标准 VAE 及分层基线方法相比，在处理数据变换时表现如何？
• RQ4 MetaVAE 表征在高剪切或高缩放等极端视觉变换下是否仍保持稳定？
• RQ5 元摊销推断能否捕捉现实世界图像分布中复杂且相互依赖变化下的有意义不变性？

主要发现

• 在所有变换类型下，MetaVAE 在变换后的 MNIST 上相比 VHE 和 Neural Statistician 提升 10–50%，且在极端缩放或剪切下无性能下降。
• 在 Small NORB 数据集上，MetaVAE 的准确率比基线高出 10–35%，即使在光照、俯仰角和方位角等复杂且相互依赖的变化下依然表现优异。
• L2 距离分析表明，表征在 MetaVAE 训练时所摊销的变换类型（如旋转）下最为稳定，证实了其学习到的不变性。
• MetaVAE 的表征在变换下保留了语义内容，而基线方法的表征在极端缩放或剪切下显著退化。
• 该方法成功学习到可迁移特征，能抽象掉无关的视觉操作，同时保留类别判别信息。
• 元摊销推断实现了对未见过变换的有效泛化，且无需在训练期间显式进行数据增强。