[论文解读] Continual Local Replacement for Few-shot Learning

Canyu Le, Zhonggui Chen+3 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 4

一句话总结

本文提出一种持续局部替换（CLR）策略，通过在训练过程中动态地将部分有标签的支持图像替换为语义相似的无标签图像，以解决少样本学习中的数据不足问题。通过伪标签策略实时选择具有信息量的无标签区域，CLR增强了特征表示和决策边界学习，在标准基准上相比基线模型实现了8%–15%的绝对准确率提升。

ABSTRACT

The goal of few-shot learning is to learn a model that can recognize novel classes based on one or few training data. It is challenging mainly due to two aspects: (1) it lacks good feature representation of novel classes; (2) a few of labeled data could not accurately represent the true data distribution and thus it's hard to learn a good decision function for classification. In this work, we use a sophisticated network architecture to learn better feature representation and focus on the second issue. A novel continual local replacement strategy is proposed to address the data deficiency problem. It takes advantage of the content in unlabeled images to continually enhance labeled ones. Specifically, a pseudo labeling method is adopted to constantly select semantically similar images on the fly. Original labeled images will be locally replaced by the selected images for the next epoch training. In this way, the model can directly learn new semantic information from unlabeled images and the capacity of supervised signals in the embedding space can be significantly enlarged. This allows the model to improve generalization and learn a better decision boundary for classification. Our method is conceptually simple and easy to implement. Extensive experiments demonstrate that it can achieve state-of-the-art results on various few-shot image recognition benchmarks.

研究动机与目标

• 解决少样本学习中的数据不足问题，即有限的有标签样本无法充分代表真实数据分布。
• 通过增加嵌入空间中监督信号的多样性与代表性，改善分类器决策边界的学效率。
• 使模型能够在不依赖显式数据生成或重新训练的前提下，从无标签数据中学习新的语义信息。
• 开发一种简单、可扩展且可解释的方法，以增强标准迁移学习基线模型。
• 证明即使在模型架构固定的情况下，代表性训练数据对少样本性能仍具有显著影响。

提出的方法

• 在每个训练周期，使用伪标签策略识别与当前支持集语义相似的无标签图像。
• 将有标签图像的部分内容替换为选定的无标签图像内容，同时保持语义一致性并引入新的视觉模式。
• 替换以块为单位进行，每张图像最多替换6个块，且该过程在多个训练周期中重复执行。
• 模型在更新后的支持集上进行微调，从而通过增强的监督信号学习更优的决策边界。
• 该方法在微调阶段运行，保持主干特征提取器固定，仅通过增强的支持集更新分类器。
• 该方法与标准迁移学习兼容，可轻松集成到现有少样本学习框架中。

实验结果

研究问题

• RQ1 通过动态地将语义相似的无标签图像替换到有标签支持图像的部分区域，能否提升少样本泛化能力？
• RQ2 与静态支持集相比，持续替换支持集图像是否能带来更优的决策边界学习效果？
• RQ3 在不同少样本设置下，被替换图像块的数量如何影响模型性能？
• RQ4 一种简单且可解释的方法能否在少样本识别任务中超越复杂的元学习或基于增强的方法？
• RQ5 支持集的质量在多大程度上影响少样本分类的准确率？

主要发现

• 在20类1样本的MiniImageNet上，CLR实现了34.94%的top-1准确率，较之前最先进方法提升超过8%。
• 在20类5样本的MiniImageNet上，CLR达到55.20%的准确率，较基线方法提升15.2个百分点。
• 该方法在100次随机任务中表现出稳健的收敛性，标准差较低，表明性能稳定。
• 每张图像替换最多6个块时达到最佳平衡；进一步增加替换块数（如9个）反而导致性能下降。
• T-SNE可视化结果表明，替换后图像的特征在语义簇内动态移动，证实了语义信息的有效增强。
• 显著性图显示，被替换的区域被模型解释为新的语义内容或部分遮挡，支持模型从多样化视觉模式中学习的能力。