[论文解读] EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art Few-Shot Classification with Simple Ingredients

Yassir Bendou, Yuqing Hu+5 more|arXiv (Cornell University)|Jan 24, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出EASY，一种简单但极为有效的 few-shot 学习方法，通过结合集成特征提取、数据增强和最少的后处理，在标准基准上实现了最先进性能。通过利用带有自监督损失的预训练主干网络，并应用最少且合理的特征工程，EASY 在几乎不增加超参数或参数的情况下，超越了复杂的最先进方法。

ABSTRACT

Few-shot learning aims at leveraging knowledge learned by one or more deep learning models, in order to obtain good classification performance on new problems, where only a few labeled samples per class are available. Recent years have seen a fair number of works in the field, introducing methods with numerous ingredients. A frequent problem, though, is the use of suboptimally trained models to extract knowledge, leading to interrogations on whether proposed approaches bring gains compared to using better initial models without the introduced ingredients. In this work, we propose a simple methodology, that reaches or even beats state of the art performance on multiple standardized benchmarks of the field, while adding almost no hyperparameters or parameters to those used for training the initial deep learning models on the generic dataset. This methodology offers a new baseline on which to propose (and fairly compare) new techniques or adapt existing ones.

研究动机与目标

• 为解决 few-shot 学习研究中基线模型表现不佳的问题，即所提方法的性能提升仅源于初始训练不佳，而非其自身创新。
• 提出一种简单、可复现且高效的基线方法，无需增加显著复杂性或超参数即可实现最先进性能。
• 证明当合理组合时，仅使用标准组件——集成学习、自监督和简单特征处理——即可实现强大的 few-shot 分类性能。
• 通过建立一个强大且简单的基线，隔离新颖组件的影响，为未来方法提供公平的基准。

提出的方法

• 在通用数据集上使用双损失训练一组 ResNet12 主干网络：交叉熵损失用于基础类别分类，自监督旋转预测损失用于对比学习。
• 在训练过程中应用流形混合（manifold mixup）以提升主干网络的泛化能力和鲁棒性。
• 推理时，从每个新类别图像中生成多个裁剪图像，使用所有集成主干网络提取特征，并对每个主干网络的特征进行平均，形成增强样本。
• 将所有主干网络的平均特征拼接，为每张输入图像形成单一、丰富的表示。
• 进行特征预处理：通过减去基础数据集（归纳设置）或新类别特征（直推设置）的均值来中心化特征，然后将特征投影到单位超球面上。
• 在归纳设置中使用最近类均值（NCM）分类器，在直推设置中使用软 K-均值分类器进行最终预测。

实验结果

研究问题

• RQ1 仅通过标准深度学习组件——集成学习、自监督和特征工程——的简单组合，能否实现最先进 few-shot 分类性能？
• RQ2 在不使用复杂辅助模块的前提下，使用更优的预训练主干网络是否仍能获得强性能？当设计得当时，更简单的方法是否能超越更复杂的模型？
• RQ3 当与集成特征提取结合时，数据增强和特征预处理在 few-shot 学习中对性能提升的贡献程度如何？
• RQ4 一种仅含极少超参数且无额外可学习头的方法，能否作为未来 few-shot 学习研究的公平且强大的基线？

主要发现

• 在直推 1-shot 设置下，EASY 在 CUB-FS 上达到 84.04% ± 0.23 的 top-1 准确率，优于先前最先进方法如 PEMnE-BMS∗（83.35%）和 iLPC（83.05%）。
• 在 CIFAR-FS 上，EASY 在 1-shot 时达到 90.50% ± 0.19 准确率，5-shot 时达到 93.50% ± 0.09，优于 iLPC（89.00% 和 92.74%）以及 Rot+KD+POODLE（89.93% 和 93.78%）。
• 在归纳设置下，EASY 在 Tiered-ImageNet 上 1-shot 达到 83.98% ± 0.24，5-shot 达到 89.26% ± 0.14，优于 iLPC（83.49% 和 89.48%）以及 ODC（83.73% 和 90.46%）。
• 消融实验表明，每个组件——集成、增强样本和特征预处理——均对性能有显著贡献，完整流程表现最佳。
• EASY 在所有数据集（MiniImageNet、CUB-FS、CIFAR-FS、FC-100、Tiered-ImageNet）上均保持强性能，展现出良好的鲁棒性和泛化能力。
• 尽管仅使用标准组件和极少超参数，EASY 在所有基准上均创下新 SOTA，证明了简洁性与优秀设计可超越复杂性。