[论文解读] Bayesian Model-Agnostic Meta-Learning

Taesup Kim, Jaesik Yoon+4 more|arXiv (Cornell University)|Jun 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 163

一句话总结

提出 BMAML，一种对 MAML 的贝叶斯扩展，使用 Stein Variational Gradient Descent 在快速适应期间获得灵活的任务后验，并引入 Chaser loss 以减轻元过拟合，适用于监督、主动学习和强化学习任务。

ABSTRACT

Learning to infer Bayesian posterior from a few-shot dataset is an important step towards robust meta-learning due to the model uncertainty inherent in the problem. In this paper, we propose a novel Bayesian model-agnostic meta-learning method. The proposed method combines scalable gradient-based meta-learning with nonparametric variational inference in a principled probabilistic framework. During fast adaptation, the method is capable of learning complex uncertainty structure beyond a point estimate or a simple Gaussian approximation. In addition, a robust Bayesian meta-update mechanism with a new meta-loss prevents overfitting during meta-update. Remaining an efficient gradient-based meta-learner, the method is also model-agnostic and simple to implement. Experiment results show the accuracy and robustness of the proposed method in various tasks: sinusoidal regression, image classification, active learning, and reinforcement learning.

研究动机与目标

• 通过贝叶斯推断解决模型不确定性，促进稳健的少样本学习。
• 开发一种基于梯度的元学习方法，能够捕获非高斯的任务后验不确定性。
• 实现高效的快速适应和原理性的元更新，以避免元过拟合。
• 展示贝叶斯 MAML 在监督学习、主动学习和强化学习任务中的适用性。

提出的方法

• 引入 Bayesian Fast Adaptation (BFA)，使用 SVGD 从 p(θτ|Dτtrn,Θ0) 采样，具有多个粒子 Θ0。
• 使用 SVGD 将粒子通过任务训练数据传播，以形成任务特定后验 Θτ(Θ0)。
• 基于快速适应后的后验与通过额外的 SVGD 步骤在增广数据下获得的更高保真度后验（leader）之间的差异定义元损失。
• 提出 Chaser Loss 以引导 Θ0，使追随者（chaser）迅速跟随领导者，降低元过拟合。
• 在粒子之间共享参数以降低大规模网络的空间复杂度（例如，共享特征提取器、每粒子分类器）。
• 通过实验展示在监督学习、主动学习和强化学习中的适用性。

实验结果

研究问题

• RQ1 基于梯度的元学习方法是否能够捕获超越简单高斯近似的复杂、非高斯的任务后验不确定性？
• RQ2 具有高效快速适应和原理性元更新的贝叶斯元学习框架是否能减少元层面的过拟合并提升跨任务的鲁棒性？
• RQ3 与标准 MAML 相比，通过 SVGD 的贝叶斯集成在正弦回归、图像分类、主动学习和强化学习设置下的表现如何？
• RQ4 粒子之间的参数共享是否能使贝叶斯 MAML 在不牺牲性能的情况下扩展到大规模网络？

主要发现

• 在正弦回归中，BMAML 优于 EMAML 和标准 MAML，尤其在不确定性较高且训练任务或样本较少时。
• 在 mini-Imagenet 分类中，使用共享特征提取器的 BMAML 在多粒子数量下均优于 EMAML，并在较少元训练任务时表现出鲁棒性。
• BMAML 通过选择高不确定性样本实现主动学习，表现优于 EMAML。
• 在强化学习中，使用基于 SVPG 的更新的 BMAML 相对于 EMAML 实现了更优的探索和性能，特别是在使用 TRPO 作为元更新器时。
• 粒子之间的参数共享在保持或提升性能的同时降低了空间复杂度。
• BMAML 提供了更高的预测精度、对过拟合的鲁棒性以及跨任务的高效探索。