[论文解读] Low-Shot Learning from Imaginary Data

Yu-Xiong Wang, Ross Girshick+2 more|arXiv (Cornell University)|Jan 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 34被引用 70

一句话总结

一个元学习框架——通过一个学习得到的幻觉器来生成有用的合成样本，以提升少样本（few-shot）分类；在 ImageNet 的少样本基准上达到最先进的性能，在单个示例新类上提升高达6个百分点。

ABSTRACT

Humans can quickly learn new visual concepts, perhaps because they can easily visualize or imagine what novel objects look like from different views. Incorporating this ability to hallucinate novel instances of new concepts might help machine vision systems perform better low-shot learning, i.e., learning concepts from few examples. We present a novel approach to low-shot learning that uses this idea. Our approach builds on recent progress in meta-learning ("learning to learn") by combining a meta-learner with a "hallucinator" that produces additional training examples, and optimizing both models jointly. Our hallucinator can be incorporated into a variety of meta-learners and provides significant gains: up to a 6 point boost in classification accuracy when only a single training example is available, yielding state-of-the-art performance on the challenging ImageNet low-shot classification benchmark.

研究动机与目标

• 通过利用类似人类的想象力来生成有用的训练变体，从而激发并解决低样本学习的问题。
• 提出一个统一的元学习框架，联动学习分类器和幻觉器以生成信息丰富的合成样本。
• 证明学习到的幻觉能够在多种元学习体系上提升新类的准确率。
• 在基于 ImageNet 的现实感强的低样本基准上进行评估，以确立最先进的性能。

提出的方法

• 定义一个幻觉器 G，它将种子真实样本 x 和噪声向量 z 映射成幻觉样本 x' = G(x, z; w_G)。
• 通过端到端优化使用可微学习目标函数，联合训练幻觉器 G 和元学习者 h。
• 在元测试阶段，用幻觉样本扩增训练集并在扩增集上训练 h；在元训练阶段，对 h 和 G 进行反向传播，以优化 w_G 和元学习者参数。
• 表明幻觉不需要是现实的或完全多样化；相反，它应产生对分类器有信息性的样本，由元学习学习得到。
• 将该方法应用于原型网络、匹配网络以及提出的原型匹配网络，展示在元学习方法上的普适性。
• 描述幻觉器的初始化和结构（三层 MLP，ReLU；分块对角单位初始化），以及训练使用如 PN、MN、PMN 这样的可微分分类器。

实验结果

研究问题

• RQ1 经过学习的幻觉器在与元学习结合时，是否能产生有意义地提升低样本分类性能的合成样本？
• RQ2 学习幻觉的改进是否在不同的元学习架构（如 PN、MN、PMN）上具有鲁棒性？
• RQ3 幻觉器和分类器的联立优化是否优于使用手工或基于噪声的扩增的基线？
• RQ4 在联合基线+新类评估设置中，幻觉对新类与基类的 performance 如何，且新类先验对结果的影响如何？

主要发现

• 端到端与元学习同时训练的幻觉在新类准确率上取得显著提升，尤其在仅有一个示例时，对原型网络（prototypical networks）提升约6个百分点。
• G 在多种元学习体系（PN、MN、PMN）上都带来改进，尤其对新类，随着新示例数量增加，增益减小但在一定 n 值前仍显著。
• 学习到的幻觉器在对抗失配校准的鲁棒性方面有所提升，并在联合基线+新类评估中表现更好，特别是当新类先验并非完美调优时。
• 相比以往基于启发式的幻觉方法，学习到的方法显著优于基线，在 ImageNet 的低样本基准上达到最先进结果。
• 消融研究表明，简单抖动或未训练的高斯幻觉器不及学习到的、元训练的幻觉器，强调任务特定学习幻觉的重要性。