[论文解读] All you need is a good representation: A multi-level and classifier-centric representation for few-shot learning.

Shaoli Huang, Dacheng Tao|arXiv (Cornell University)|Nov 28, 2019

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出了一种多层级、以分类器为中心的少样本学习表征方法，通过融合局部、全局及更高层级的特征，提升泛化能力与分类器的判别性。通过施加以分类器为中心的损失函数，该方法在少量样本下实现有效分类，在低少样本基准测试中超越当前最先进方法，并展现出对领域分布偏移的强鲁棒性。

ABSTRACT

The main problems of few-shot learning are how to learn a generalized representation and how to construct discriminant classifiers with few-shot samples. We tackle both issues by learning a multi-level representation with a classifier-centric constraint. We first build the multi-level representation by combining three different levels of information: local, global, and higher-level. The resulting representation can characterize new concepts with different aspects and present more universality. To overcome the difficulty of generating classifiers by several shot features, we also propose a classifier-centric loss for learning the representation of each level, which forces samples to be centered on their respective classifier weights in the feature space. Therefore, the multi-level representation learned with classifier-centric constraint not only can enhance the generalization ability, but also can be used to construct the discriminant classifier through a small number of samples. Experiments show that our proposed method, without training or fine-tuning on novel examples, can outperform the current state-of-the-art methods on two low-shot learning datasets. We further show that our approach achieves a significant improvement over baseline method in cross-task validation, and demonstrate its superiority in alleviating the domain shift problem.

研究动机与目标

• 解决在支持样本有限的情况下学习通用表征的挑战。
• 在训练数据稀缺时，特别是针对新类别，提升分类器的判别能力。
• 通过增强特征表示的鲁棒性，降低对领域分布偏移的敏感性。
• 开发一种无需在新类别样本上微调的表征学习框架。
• 在单一训练目标中统一多层级特征抽象与分类器优化。

提出的方法

• 该方法通过融合局部、全局及更高层级的特征，构建多层级表征，以捕捉输入数据的多样化特性。
• 提出一种以分类器为中心的损失函数，促使特征嵌入在特征空间中被拉向其对应分类器权重向量。
• 在表征的每一层级上应用以分类器为中心的约束，确保每一层均有助于判别性分类器的学习。
• 使用交叉熵损失与所提出的以分类器为中心的正则化方法联合进行端到端训练。
• 最终表征可直接用于推理，无需在新类别或支持集上进行微调。
• 该方法利用共享主干网络在多个抽象层级上提取特征，随后将这些特征融合以提升泛化能力。

实验结果

研究问题

• RQ1 在低少样本条件下，多层级表征是否能提升少样本学习中的泛化能力？
• RQ2 强制实施以分类器为中心的特征对齐是否能提升在少量样本下的分类器性能？
• RQ3 所提方法是否能在不微调新类别样本的情况下实现更优性能？
• RQ4 在跨任务少样本学习场景中，该方法在多大程度上缓解了领域分布偏移问题？
• RQ5 与标准表征学习相比，以分类器为中心的损失在多大程度上提升了判别能力？

主要发现

• 所提方法在两个低少样本学习基准上超越当前最先进方法，且无需在新类别样本上进行微调。
• 在跨任务验证中，该方法显著优于基线模型，表明其在多样化少样本任务中具备强大的泛化能力。
• 以分类器为中心的损失有效增强了特征在类别中心附近的聚类，从而在样本稀少时提升判别性。
• 多层级表征通过捕捉局部、全局及高层抽象中的多样化新概念特性，展现出更强的通用性。
• 该方法对领域分布偏移表现出强鲁棒性，在分布外或分布偏移的数据上仍能保持高性能。
• 消融实验验证了多层级特征融合与以分类器为中心的损失对最终性能提升均有显著贡献。