[论文解读] Meta-Learning Probabilistic Inference For Prediction

Jonathan Gordon, John Bronskill+3 more|arXiv (Cornell University)|May 24, 2018

Machine Learning and Data Classification被引用 72

一句话总结

本文提出了 ML-PIP，一种用于概率推理的元学习框架，通过摊销后验预测分布来推广现有方法。VERSA 是 ML-PIP 的一个实例，利用灵活的推理网络，通过一次前向传播从少样本数据中预测任务特定参数，在 Omniglot 和 miniImageNet 上实现了最先进性能，并在 1-shot 3D 视图重建中表现出更优的视觉质量。

ABSTRACT

This paper introduces a new framework for data efficient and versatile learning. Specifically: 1) We develop ML-PIP, a general framework for Meta-Learning approximate Probabilistic Inference for Prediction. ML-PIP extends existing probabilistic interpretations of meta-learning to cover a broad class of methods. 2) We introduce VERSA, an instance of the framework employing a flexible and versatile amortization network that takes few-shot learning datasets as inputs, with arbitrary numbers of shots, and outputs a distribution over task-specific parameters in a single forward pass. VERSA substitutes optimization at test time with forward passes through inference networks, amortizing the cost of inference and relieving the need for second derivatives during training. 3) We evaluate VERSA on benchmark datasets where the method sets new state-of-the-art results, handles arbitrary numbers of shots, and for classification, arbitrary numbers of classes at train and test time. The power of the approach is then demonstrated through a challenging few-shot ShapeNet view reconstruction task.

研究动机与目标

• 开发一个统一的概率框架，用于元学习近似推理，其应用范围超越点估计解释。
• 通过用单次前向传播的推理网络替代迭代优化，实现快速、数据高效的少样本学习。
• 在训练和测试时均支持任意数量的样本和类别，提升真实少样本场景下的灵活性。
• 在标准基准和具有挑战性的 1-shot 3D 视图重建任务中验证方法的有效性。

提出的方法

• 提出 ML-PIP 框架，将元学习建模为对任务特定参数的摊销后验预测推理。
• 采用具有共享全局参数 θ 和任务特定参数 ψ(t) 的层次化概率模型，支持多任务和迁移学习。
• 使用摊销网络 qφ(ψ|D)，将少样本数据集 D 映射到任务特定参数的分布，仅需一次前向传播。
• 将训练目标定义为最小化真实与近似后验预测分布之间在任务上的期望 KL 散度。
• 采用因子化高斯分布作为 qφ(ψ|D)，其均值和方差由深度神经网络预测，支持端到端训练。
• 通过避免测试时的优化，无需计算二阶导数，转而依赖推理网络的推理。

实验结果

研究问题

• RQ1 统一的概率框架能否将现有元学习方法推广至超越点估计解释的范围？
• RQ2 对任务特定参数的摊销推理能否在最小化测试时计算量的前提下实现最先进少样本学习性能？
• RQ3 该方法能否在测试时泛化至任意数量的样本和类别，即使与训练条件不同？
• RQ4 该方法能否在少样本设置下有效重建复杂 3D 物体的视图？

主要发现

• VERSA 在 Omniglot 上实现 99.70% ± 0.20 的 1-shot 准确率和 99.75% ± 0.13 的 5-shot 准确率，优于包括 MAML 和原型网络在内的先前方法。
• 在 miniImageNet 上，VERSA 实现 97.66% ± 0.29 的 1-shot 准确率和 98.77% ± 0.18 的 5-shot 准确率，创下新最先进结果。
• 在 1-shot ShapeNet 视图重建中，VERSA 实现测试 MSE 为 0.0108 和 SSIM 为 0.7893，显著优于 C-VAE 基线。
• 视觉结果表明，VERSA 生成的图像比 C-VAE 更清晰、细节更丰富，对未见物体朝向的泛化能力更强。
• 该方法可泛化至未见过的样本数和类别数组合，展示了在零样本少样本迁移设置下的鲁棒性。
• 定量与定性结果证实，通过 VERSA 实现的摊销推理可在无需测试时迭代优化的情况下，实现快速、准确且灵活的少样本预测。