[论文解读] Learning Adaptive Classifiers Synthesis for Generalized Few-Shot Learning

Han-Jia Ye, Hexiang Hu+1 more|arXiv (Cornell University)|Jun 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 72被引用 13

一句话总结

本文提出 Castle 和 aCastle，两种用于广义少样本学习（GFSL）的神经框架，通过共享神经词典合成校准的少样本分类器，实现从已见（头）类别到未见（尾）类别的有效归纳知识迁移。aCastle 进而利用尾类别样本自适应地调整头分类器，使在 MiniImageNet 和 Tiered-ImageNet 上的少样本与广义少样本评估协议下均达到当前最优性能。

ABSTRACT

Object recognition in the real-world requires handling long-tailed or even open-ended data. An ideal visual system needs to recognize the populated head visual concepts reliably and meanwhile efficiently learn about emerging new tail categories with a few training instances. Class-balanced many-shot learning and few-shot learning tackle one side of this problem, by either learning strong classifiers for head or learning to learn few-shot classifiers for the tail. In this paper, we investigate the problem of generalized few-shot learning (GFSL) -- a model during the deployment is required to learn about tail categories with few shots and simultaneously classify the head classes. We propose the ClAssifier SynThesis LEarning (CASTLE), a learning framework that learns how to synthesize calibrated few-shot classifiers in addition to the multi-class classifiers of head classes with a shared neural dictionary, shedding light upon the inductive GFSL. Furthermore, we propose an adaptive version of CASTLE (ACASTLE) that adapts the head classifiers conditioned on the incoming tail training examples, yielding a framework that allows effective backward knowledge transfer. As a consequence, ACASTLE can handle GFSL with classes from heterogeneous domains effectively. CASTLE and ACASTLE demonstrate superior performances than existing GFSL algorithms and strong baselines on MiniImageNet as well as TieredImageNet datasets. More interestingly, they outperform previous state-of-the-art methods when evaluated with standard few-shot learning criteria.

研究动机与目标

• 为解决广义少样本学习（GFSL）中的挑战，即模型需同时对数据丰富的头类别和数据稀缺的尾类别进行分类。
• 在训练期间无需尾类别数据的情况下，实现从已见类别到未见类别的归纳知识迁移，克服传统归纳方法的局限性。
• 对头类别与尾类别分类器的预测进行校准，减少已见与未见类别之间的置信度差异。
• 设计统一框架，合成少样本分类器的同时保持在多样本头类别上的强性能。
• 在尾类别来自异质视觉领域时，实现有效的反向知识迁移。

提出的方法

• Castle 使用共享神经词典，从支持集嵌入中合成校准的少样本分类器，实现头类别与尾类别分类器的联合学习。
• 该框架通过联合优化多类别分类与少样本分类损失的统一目标函数，利用神经词典建模类别特定的决策边界，实现分类器合成。
• aCastle 在 Castle 的基础上，通过动态调整头分类器参数以适应新输入的尾类别支持样本，实现反向知识迁移。
• 分类器合成通过在输入神经词典前对每类的支持嵌入进行平均实现，增强对样本数量变化的鲁棒性。
• 该方法采用多分类器训练策略，每个元批次包含头类别与尾类别分类器的多样化组合，以提升泛化能力。
• GFSL 评估采用调和平均指标，并实现一个上界模型，使用所有可用的训练图像对未见类别进行评估，以衡量性能差距。

实验结果

研究问题

• RQ1 在训练期间无法访问尾类别数据的情况下，模型如何有效学习同时对头类别与尾类别进行分类？
• RQ2 对少样本与多样本分类器进行校准，以减少已见与未见类别之间的置信度差异，其影响是什么？
• RQ3 利用尾类别样本对头分类器进行动态自适应，能否提升在异质视觉领域中的泛化性能？
• RQ4 通过神经词典进行分类器合成，与标准原型网络在少样本与广义少样本场景下的表现相比如何？
• RQ5 当前 GFSL 方法与使用所有可用训练数据对未见类别进行评估的上界模型之间，性能差距是多少？

主要发现

• 在 5 类 5 样本的 MiniImageNet 上，aCastle 实现 82.08% 的平均准确率与 78.33% 的调和平均准确率，优于以往的 SOTA 方法。
• 在 20 类 5 样本的 MiniImageNet 上，aCastle 实现 57.29% 的 FSL 准确率与 56.33% 的 GFSL 调和平均准确率，显著优于先前方法。
• 在 5 类 5 样本设置下，aCastle 与上界模型（UB）的性能差距为 4.8%；在 20 类 5 样本设置下为 12.4%，表明仍有改进空间。
• Castle 在性能上优于 ProtoNet 与原始合成分类器，证明基于神经词典的分类器合成方法具有有效性。
• 在多样本设置中，预平均策略（Pre-AVG）优于后平均策略（Post-AVG），支持在框架中采用预平均策略。
• 多分类器训练策略可提升泛化能力，随着分类器数量增加，性能渐近逼近上界模型。