[论文解读] Meta-Learning with Shared Amortized Variational Inference

Екатерина Яковлева, Jakob Verbeek+1 more|arXiv (Cornell University)|Aug 27, 2020

Machine Learning and Data Classification被引用 6

一句话总结

本文提出 SAMOVAR，一种元学习框架，通过使用共享的近似变分推理网络来建模分类器权重中的不确定性，以实现少样本图像分类。通过使用单一共享推理网络学习模型参数的条件先验与后验分布，该方法避免了基于蒙特卡洛方法中常见的方差坍塌问题，在 miniImageNet、CIFAR-FS 和 FC100 上实现了最先进性能，同时提升了不确定性估计与分类准确率。

ABSTRACT

We propose a novel amortized variational inference scheme for an empirical Bayes meta-learning model, where model parameters are treated as latent variables. We learn the prior distribution over model parameters conditioned on limited training data using a variational autoencoder approach. Our framework proposes sharing the same amortized inference network between the conditional prior and variational posterior distributions over the model parameters. While the posterior leverages both the labeled support and query data, the conditional prior is based only on the labeled support data. We show that in earlier work, relying on Monte-Carlo approximation, the conditional prior collapses to a Dirac delta function. In contrast, our variational approach prevents this collapse and preserves uncertainty over the model parameters. We evaluate our approach on the miniImageNet, CIFAR-FS and FC100 datasets, and present results demonstrating its advantages over previous work.

研究动机与目标

• 解决基于蒙特卡洛的变分推理在元学习中出现的方差低估问题。
• 通过将分类器权重建模为具有结构化先验的隐变量，改进少样本分类中的不确定性估计。
• 开发一种共享的近似推理网络，使其能泛化于模型参数的先验与后验分布。
• 通过引入随机且具备不确定性感知的权重自适应机制，提升现有元学习模型（如 VERSA 和 TADAM）的性能。
• 证明变分推理可防止在蒙特卡洛方法中常见的先验坍塌问题，从而实现更鲁棒的泛化能力。

提出的方法

• 该模型使用共享推理网络来参数化任务特定分类器权重的条件先验与变分后验分布。
• 先验仅依赖于支持集数据，而后验则同时使用支持集与查询集数据，从而实现不确定性感知的预测。
• 采用变分自编码器框架来近似难以计算的边缘似然，通过反向传播端到端训练推理网络。
• 该方法利用与任务无关的特征提取器（如 ResNet-12）从支持集和查询集图像中提取特征，再将其输入共享推理网络。
• 该框架支持从先验与后验分布中对分类器权重进行随机采样，以对查询数据进行预测。
• 该方法可应用于确定性模型（如 VERSA）以及采用缩放余弦分类器的模型（如 TADAM），将其转化为随机变体。

实验结果

研究问题

• RQ1 与独立的先验与后验分布相比，共享的近似推理网络是否能提升元学习中的不确定性估计？
• RQ2 在使用少量梯度样本时，变分推理是否能防止蒙特卡洛方法中观察到的先验坍塌现象？
• RQ3 所提出的方法在 miniImageNet、CIFAR-FS 和 FC100 等标准基准上是否能提升少样本分类准确率？
• RQ4 通过共享变分推理实现的 TADAM 随机化版本，是否能实现与最先进模型相当的性能？
• RQ5 该框架在与数据增强或归纳训练等现有技术结合时是否兼容且有效？

主要发现

• 变分方法成功防止了蒙特卡洛方法在样本较少时常见的先验坍塌问题，从而实现了准确的方差估计。
• 在 miniImageNet 上，SAMOVAR 在 5-shot 设置下达到 57.9% ± 0.3 的准确率，优于其他基于 ResNet-12 的模型，并与最先进结果相当或更优。
• 在 FC100 上，SAMOVAR 在非归纳方法中取得了最佳 5-shot 准确率，达到 42.1% ± 0.3。
• 在 CIFAR-FS 上，该模型在 5-shot 时达到 85.3% ± 0.2 的准确率，在 1-shot 时达到 72.5% ± 0.3，展现出在不同样本设置下的强劲性能。
• 通过所提出的变分框架训练的 TADAM 随机版本，显著优于原始确定性模型，并达到最先进性能。
• 该方法对超参数选择具有鲁棒性，并在多个少样本基准上表现出良好的泛化能力，证实了其有效性与可靠性。