[论文解读] Meta-Learning across Meta-Tasks for Few-Shot Learning

Nanyi Fei, Zhiwu Lu+4 more|arXiv (Cornell University)|Feb 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用 12

一句话总结

本文通过引入两项新目标——用于处理不相交类别集之间领域差异的元域自适应（MDA）和用于提升对低频类别鲁棒性的元知识蒸馏（MKD），在少样本学习中利用元任务之间的相互关系。尽管方法论上具有前景，但作者因实验错误而撤回论文。

ABSTRACT

Existing meta-learning based few-shot learning (FSL) methods typically adopt an episodic training strategy whereby each episode contains a meta-task. Across episodes, these tasks are sampled randomly and their relationships are ignored. In this paper, we argue that the inter-meta-task relationships should be exploited and those tasks are sampled strategically to assist in meta-learning. Specifically, we consider the relationships defined over two types of meta-task pairs and propose different strategies to exploit them. (1) Two meta-tasks with disjoint sets of classes: this pair is interesting because it is reminiscent of the relationship between the source seen classes and target unseen classes, featured with domain gap caused by class differences. A novel learning objective termed meta-domain adaptation (MDA) is proposed to make the meta-learned model more robust to the domain gap. (2) Two meta-tasks with identical sets of classes: this pair is useful because it can be employed to learn models that are robust against poorly sampled few-shots. To that end, a novel meta-knowledge distillation (MKD) objective is formulated. There are some mistakes in the experiments. We thus choose to withdraw this paper.

研究动机与目标

• 解决现有元学习方法在小样本训练的episode过程中忽略元任务之间关系的局限性。
• 通过缓解少样本学习中已见类与未见类之间差异引发的领域差距，提升模型对领域差异的鲁棒性。
• 通过利用具有相同类别集的元任务，在低样本场景下增强模型的泛化能力。
• 开发新的学习目标，以利用元任务之间的相互关系，提升少样本学习性能。

提出的方法

• 提出元域自适应（MDA），一种学习目标，通过对具有不相交类别集的元任务之间的特征表示进行对齐，以缓解领域差距。
• 引入元知识蒸馏（MKD），一种新颖的目标，通过在共享相同类别集的元任务之间转移知识，提升对低频样本的鲁棒性。
• 设计一种训练策略，基于元任务之间的成对关系而非均匀随机采样来选择元任务。
• 使用MDA目标对具有不同类别的元任务之间的特征分布进行对齐，模拟源域-目标域的分布偏移。
• 利用MKD从表现良好的元任务向样本较少或代表性不足的元任务蒸馏知识。
• 在统一的元学习框架中结合MDA和MKD目标，以提升泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 如何利用元任务之间的相互关系，以超越随机episode采样，提升少样本学习性能？
• RQ2 元域自适应（MDA）在多大程度上能减轻已见类与未见类之间领域差距的负面影响？
• RQ3 元知识蒸馏（MKD）能否提升模型在低频或采样不足的少样本样本上的性能？
• RQ4 基于类别重叠或不相交关系的结构化元任务采样，对元学习器泛化能力有何影响？

主要发现

• 所提出的元域自适应（MDA）目标旨在提升对具有不相交类别集的元任务之间领域偏移的鲁棒性。
• 引入元知识蒸馏（MKD）以通过在相同类别元任务之间转移知识，提升对低频样本的模型性能。
• 作者在实验评估中发现关键错误，导致报告结果的有效性受到破坏。
• 由于这些实验缺陷，尽管所提出的MDA和MKD目标在概念上成立，作者仍决定撤回论文。