[论文解读] Few-Shot Learning with Global Class Representations

Tiange Luo, Aoxue Li+3 more|arXiv (Cornell University)|Aug 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 27

一句话总结

该论文提出了一种少样本学习方法，通过联合训练基础类和新类，并结合配准模块与样本生成技术来缓解类别不平衡问题，从而学习全局类别表征。该方法在标准和广义少样本学习设置下均取得了当前最优性能，尤其在更具挑战性的广义FSL设置中表现显著提升。

ABSTRACT

In this paper, we propose to tackle the challenging few-shot learning (FSL) problem by learning global class representations using both base and novel class training samples. In each training episode, an episodic class mean computed from a support set is registered with the global representation via a registration module. This produces a registered global class representation for computing the classification loss using a query set. Though following a similar episodic training pipeline as existing meta learning based approaches, our method differs significantly in that novel class training samples are involved in the training from the beginning. To compensate for the lack of novel class training samples, an effective sample synthesis strategy is developed to avoid overfitting. Importantly, by joint base-novel class training, our approach can be easily extended to a more practical yet challenging FSL setting, i.e., generalized FSL, where the label space of test data is extended to both base and novel classes. Extensive experiments show that our approach is effective for both of the two FSL settings.

研究动机与目标

• 解决基于元学习的少样本学习方法仅在基础类上进行训练、难以有效泛化到新类的问题。
• 通过从训练初期就引入新类，而非仅在推理阶段引入，以提升对新类的泛化能力。
• 通过样本生成和元训练机制，缓解基础类与新类之间严重的类别不平衡问题。
• 实现在更贴近现实的广义少样本学习设置下的有效少样本学习，其中测试数据同时包含基础类和新类。
• 开发一种灵活的框架，可在极少微调的情况下适应全新的未见新类。

提出的方法

• 该方法通过联合训练基础类和新类样本，学习全局类别表征，确保模型从一开始就针对新类进行优化。
• 样本生成策略通过在同类样本的子空间中生成合成样本，增加新类的类内差异性。
• 采用元训练流水线，从支持集中计算类均值，并通过配准模块将其与全局表征对齐。
• 配准模块促使每个样本在嵌入空间中“拉近”其类别的全局表征，同时“推开”其他类的全局表征。
• 通过在查询集上计算分类损失，利用反向传播更新全局表征，实现端到端学习。
• 采用元学习框架进行训练，每个训练episode同时采样基础类和新类，确保表征学习的平衡性。

实验结果

研究问题

• RQ1 与仅在训练阶段使用基础类的元学习方法相比，联合训练基础类和新类是否能提升少样本泛化性能？
• RQ2 样本生成在缓解低样本新类的类内差异性问题方面效果如何？
• RQ3 配准模块是否通过在嵌入空间中强制实现类间分离与类特定对齐，有效提升全局表征学习？
• RQ4 所提方法能否在广义少样本学习设置下有效泛化，其中测试数据同时包含基础类和新类？
• RQ5 该模型在无需微调的情况下，对全新未见新类的适应能力如何？

主要发现

• 所提方法在标准和广义少样本学习基准上均达到当前最优性能，尤其在更具挑战性的广义FSL设置中表现显著提升。
• 消融实验表明，单独使用样本生成或配准模块仅带来有限性能增益，但两者结合可实现显著性能提升。
• 在扩展了20个新类的Mini-ImageNet数据集上，模型在基础类上达到40.20%的准确率，在全新未见新类上达到12.60%，远超原型网络（Prototypical Networks）的性能。
• 即使固定基础类的全局表征，模型仍保持强劲性能，表明其对新未见类的适应成本极低。
• 完整模型（B+S1+S2+R）显著优于所有消融变体，证实样本生成与配准机制在学习鲁棒全局表征方面的协同增益。