[论文解读] Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels

Massimiliano Patacchiola, Jack Turner+3 more|arXiv (Cornell University)|Oct 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 48被引用 62

一句话总结

引入 Deep Kernel Transfer (DKT)，是一种使用深核的贝叶斯元学习方法，用于少样本回归、分类和跨领域任务，在没有内循环优化的情况下，同时提供不确定性估计。

ABSTRACT

Recently, different machine learning methods have been introduced to tackle the challenging few-shot learning scenario that is, learning from a small labeled dataset related to a specific task. Common approaches have taken the form of meta-learning: learning to learn on the new problem given the old. Following the recognition that meta-learning is implementing learning in a multi-level model, we present a Bayesian treatment for the meta-learning inner loop through the use of deep kernels. As a result we can learn a kernel that transfers to new tasks; we call this Deep Kernel Transfer (DKT). This approach has many advantages: is straightforward to implement as a single optimizer, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that DKT outperforms several state-of-the-art algorithms in few-shot classification, and is the state of the art for cross-domain adaptation and regression. We conclude that complex meta-learning routines can be replaced by a simpler Bayesian model without loss of accuracy.

研究动机与目标

• 动机：在相关任务中解决从极少标记数据集中学习的挑战。
• 通过对任务特异参数边际化，提供多级元学习的贝叶斯替代方案。
• 开发一种深核转移（DKT）方法，在任务之间共享一个通用核，并通过边际似然（ML-II）来优化超参数。
• 证明一个使用深核的更简单分层贝叶斯模型在回归、跨域和分类基准测试中可以达到或超过复杂元学习方法。

提出的方法

• 将少样本学习建模为一个分层贝叶斯问题，具有跨任务共享的核超参数和任务特异的潜在表示。
• 使用深核学习，将输入通过神经网络 F_phi 映射到潜在空间，然后通过核 k'(h,h') 提供高斯过程的协方差。
• 用解析的高斯过程边际似然替代元学习的内循环，只优化跨任务参数（核超参数 theta 和网络权重 phi）。
• 推导回归的闭式预测分布（高斯似然）以及基于回归的分类处理（标签回归/最小二乘分类）的闭式解。
• 通过随机 ML-II 训练，在每个小批量中对跨任务对数边际似然进行最大化并采样任务。

实验结果

研究问题

• RQ1 一个在多任务中学习的单一可迁移深核，是否能够在少样本回归、跨域自适应和分类方面提供具有竞争力或更优的性能？
• RQ2 通过贝叶斯积分（ML-II）边际化任务特异的内循环参数，是否能获得稳健的不确定性估计并比标准元学习更简化优化？
• RQ3 与最先进的元学习基线相比，DKT 在同域、跨域和跨领域的少样本场景中的表现如何？
• RQ4 不同核（如 RBF 与谱核）及特征归一化对少样本性能和不确定性的影响？

主要发现

• 与若干最先进的少样本方法在回归任务中的表现相当或更优，包括对超出范围输入的处理和不确定性估计的改进。
• 在 DKT 中使用谱核在未知周期函数回归和头部姿态轨迹任务上表现尤为出色。
• DKT 在跨域分类上显示出强劲结果，超越了许多基线，在若干基准上达到同类方法的最新研究水平。
• 该方法在预测中提供不确定性量化，在数据稀缺情形和输入损坏下被证明具有实际意义。
• 一个更简单的带核传递的贝叶斯模型可以达到甚至超越复杂的元学习流程且不牺牲准确性。