[论文解读] Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples

Eleni Triantafillou, Tyler Zhu+9 more|arXiv (Cornell University)|Mar 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 282

一句话总结

介绍 Meta-Dataset，这是一个大规模、覆盖多种任务的少样本学习基准，跨越 10 个数据集，具有多样的任务和评估协议，并引入一种新型元学习模型（Proto-MAML），以更好地对新数据集进行泛化。

ABSTRACT

Few-shot classification refers to learning a classifier for new classes given only a few examples. While a plethora of models have emerged to tackle it, we find the procedure and datasets that are used to assess their progress lacking. To address this limitation, we propose Meta-Dataset: a new benchmark for training and evaluating models that is large-scale, consists of diverse datasets, and presents more realistic tasks. We experiment with popular baselines and meta-learners on Meta-Dataset, along with a competitive method that we propose. We analyze performance as a function of various characteristics of test tasks and examine the models' ability to leverage diverse training sources for improving their generalization. We also propose a new set of baselines for quantifying the benefit of meta-learning in Meta-Dataset. Our extensive experimentation has uncovered important research challenges and we hope to inspire work in these directions.

研究动机与目标

• 推动建立一个比 Omniglot 和 mini-ImageNet 更真实、多样化的少样本学习基准的需求。
• 提供一个大规模、多数据集的环境，以在异构数据和不同 episode 结构上评估元学习算法。
• 评估流行的元学习模型与基线，并分析训练数据来源、预训练和元学习对跨数据集泛化的影响。
• 提出一种新的元学习器（Proto-MAML），将原型网络与 MAML 风格的适应相结合，以提升在 Meta-Dataset 上的表现。

提出的方法

• 通过聚合 10 个多样数据集（ImageNet、Omniglot、Aircraft、CUB、Describable Textures、Quick Draw、Fungi、VGG Flowers、Traffic Signs、MSCOCO）来定义一个新的少样本学习基准。
• 设计一个分层、数据集感知的 episode 采样程序，改变方式数（类别数）和样本数，并纳入类别结构（ImageNet/Omniglot 的层次结构）。
• 将非 episodic 基线（k-NN、Finetune、cosine classifier 变体）与 episodic 元学习器（Matching Networks、Relation Networks、Prototypical Networks、MAML、Proto-MAML）进行比较。
• 引入 Proto-MAML，一种元学习器从 Prototypical Network 原型初始化一个与 episode 相关的线性分类器，然后允许对嵌入进行梯度自适应。
• 探索预训练（ImageNet vs 全数据集）、元训练影响，以及仅推理基线，以量化在异构数据上的元学习带来的收益。
• 提供可重复的评估协议和 Meta-Dataset 的开源代码。

实验结果

研究问题

• RQ1 一个多数据集、异质 episode 设计是否能提升元学习器对未见数据集与任务的泛化能力？
• RQ2 不同的训练来源（仅 ImageNet vs 全数据集）和预训练对跨数据集泛化有何影响？
• RQ3 在多样数据集上的元学习是否始终有益，还是其优势取决于数据来源和任务配置？
• RQ4 像 Proto-MAML 这样的混合元学习器是否能在一个大型、多样化的基准上超越标准的元学习器？
• RQ5 在面对现实的类别不平衡和可变的 shot/way 设置时，当前元学习方法的局限性在哪里？

主要发现

• Meta-Dataset 提供了一个具有挑战性且多样的基准，显示性能在数据集和任务配置之间差异显著。
• 在 ImageNet 上的预训练通常有助于自然图像数据集，但可能会损害与 Omniglot、Quick Draw 等更远的数据集的性能。
• 在所有数据集上进行训练可以提升某些数据集的性能（如 Omniglot、Quick Draw、Aircraft），但并不能对所有目标数据集普遍提升。
• 在仅推理与完全元训练基线的评估中，元学习的收益并不一致，特别是在异构数据下；天真的跨数据集训练并不自动带来更好的泛化。
• Proto-MAML 通常在各数据集上取得最佳平均排名，Prototypical Networks 表现强劲，Finetune 作为有竞争力的基线。
• 元学习的价值取决于数据异质性、初始化以及所选的 episode 生成策略，指明未来研究方向。