[论文解读] A Closer Look at Few-shot Classification Again
本文证明在小样本分类中训练与适应（adaptation）是解耦且不相关的，能够独立分析每个阶段，并揭示神经尺度定律和适应动态。
Few-shot classification consists of a training phase where a model is learned on a relatively large dataset and an adaptation phase where the learned model is adapted to previously-unseen tasks with limited labeled samples. In this paper, we empirically prove that the training algorithm and the adaptation algorithm can be completely disentangled, which allows algorithm analysis and design to be done individually for each phase. Our meta-analysis for each phase reveals several interesting insights that may help better understand key aspects of few-shot classification and connections with other fields such as visual representation learning and transfer learning. We hope the insights and research challenges revealed in this paper can inspire future work in related directions. Code and pre-trained models (in PyTorch) are available at https://github.com/Frankluox/CloserLookAgainFewShot.
研究动机与目标
- 研究小样本分类中训练阶段与适应阶段是否完全不相关。
- 通过固定另一阶段，系统分析每个阶段，以理解它们各自的贡献。
- 描述数据集规模、模型架构和任务设置如何影响两个阶段的性能。
- 揭示算法设计的实际见解，以及与 表征学习和迁移学习的联系。
提出的方法
- 定义一个正式框架，通过在算法对之间使用 Avg 和 CI 来评估训练与适配算法之间的交互。
- 构建 Mtrain 和 Madapt，包含多样的学习策略（用于训练的元学习与非元学习；用于适配的多种适应方法）。
- 通过使用 Meta-Dataset 和多种骨干网络，实证评估在另一阶段是否保持算法排名的一致性，从而检验不相关性。
- 通过在 ImageNet 规模数据上以 CE、PN 和 MoCo-v2，按每类样本数和类别数放大训练数据，分析训练阶段的影响。
- 通过在 ImageNet 和 Quick Draw 数据集上改变不同的 ways/shots 以及骨干网络的适配策略，分析适配阶段的影响。
实验结果
研究问题
- RQ1在小样本分类中，训练与适配算法是否不相关，以至于改变一个阶段不会改变另一个阶段中算法的性能排序？
- RQ2训练数据集的规模（按每类样本数和类别数）如何影响不同训练算法在小样本学习中的性能？
- RQ3ImageNet 级预训练模型与有监督与自监督训练在小样本性能上的相关性如何？
- RQ4在不同的 ways 和 shots 下，不同的适配策略（微调、部分微调、查询-支持方法）的影响是什么？
- RQ5为选择训练与适配组件以最大化小样本性能，可以得到哪些实际建议？
主要发现
- 训练与适配算法形成有序集合；改变一个阶段会在另一阶段产生单调或重叠的改进。
- 对于有监督模型，增加训练类别数量带来比增加每类样本数更强的收益，表明对类别具有神经尺度定律。
- ImageNet 的表现并不能很好地预测有监督模型的小样本性能，但对自监督模型却能强烈预测。
- 在小样本适配中，原生微调通常优于部分微调方法，随着更多的 ways/shots 和更大任务转移，优势扩大，但代价也更高。
- 骨干网络的适配在高-way、高-shot 或跨领域任务中变得有利，而查询-支持匹配方法在数据规模扩大时扩展性较差。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。