[论文解读] LibFewShot: A Comprehensive Library for Few-shot Learning

Wenbin Li, Ziyi+10 more|arXiv (Cornell University)|Sep 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 13

一句话总结

LibFewShot 是一个统一的 PyTorch 库，重新实现了 18 种最先进的少样本学习方法，采用一致的训练协议、主干网络和数据增强方式，以实现公平比较。它表明，元学习/课程训练机制仍然至关重要，尤其是在结合预训练时；同时揭示了数据增强、自监督学习和适当的归一化等技术能显著提升各类模型的性能。

ABSTRACT

Few-shot learning, especially few-shot image classification, has received increasing attention and witnessed significant advances in recent years. Some recent studies implicitly show that many generic techniques or ``tricks'', such as data augmentation, pre-training, knowledge distillation, and self-supervision, may greatly boost the performance of a few-shot learning method. Moreover, different works may employ different software platforms, backbone architectures and input image sizes, making fair comparisons difficult and practitioners struggle with reproducibility. To address these situations, we propose a comprehensive library for few-shot learning (LibFewShot) by re-implementing eighteen state-of-the-art few-shot learning methods in a unified framework with the same single codebase in PyTorch. Furthermore, based on LibFewShot, we provide comprehensive evaluations on multiple benchmarks with various backbone architectures to evaluate common pitfalls and effects of different training tricks. In addition, with respect to the recent doubts on the necessity of meta- or episodic-training mechanism, our evaluation results confirm that such a mechanism is still necessary especially when combined with pre-training. We hope our work can not only lower the barriers for beginners to enter the area of few-shot learning but also elucidate the effects of nontrivial tricks to facilitate intrinsic research on few-shot learning. The source code is available from https://github.com/RL-VIG/LibFewShot.

研究动机与目标

• 为解决因实现方式、主干网络和训练技巧不一致导致的少样本学习方法间缺乏公平比较的问题。
• 提供一个统一框架，以相同的代码库和超参数重新实现 18 种 SOTA 少样本学习方法。
• 通过实证评估常见深度学习技术（如数据增强、知识蒸馏和自监督学习）对少样本学习性能的影响。
• 探究在强预训练时代，元学习或课程训练是否仍然必要。
• 评估少样本模型在不同领域间的可迁移性，尤其是在大领域偏移情况下的表现。

提出的方法

• 在一个基于 PyTorch 的统一框架中重新实现 18 种最先进的少样本学习方法，采用一致的超参数和训练协议。
• 在所有方法中使用相同的主干网络架构（例如，ResNet12、Swin-T）和输入图像尺寸（224×224），以确保公平比较。
• 应用标准化的数据增强（RandAugment、mixup、cutmix）、归一化和优化方法（AdamW），以隔离架构和训练选择的影响。
• 在 miniImageNet 和 tieredImageNet 上进行广泛评估，涵盖多种主干网络的 1-shot 和 5-shot 设置。
• 通过在源领域（如 miniImageNet）上训练并在目标领域（如 Stanford Dogs、CUB Birds）上测试，评估跨领域泛化能力，涵盖不同程度的领域偏移。
• 系统性地消融关键训练技巧（如标签平滑、DropBlock 和自监督学习）对模型性能的影响。

实验结果

研究问题

• RQ1 当使用强预训练时，课程/元训练机制在少样本学习中是否仍然必要？
• RQ2 常见深度学习技术（如数据增强、知识蒸馏和自监督学习）如何影响不同模型在少样本学习中的性能？
• RQ3 与 CNN（如 ResNet12）相比，视觉变换器（Swin-T）等模型架构在少样本学习中的泛化能力如何？
• RQ4 在存在大领域偏移（如从 miniImageNet 到 Stanford Cars）的情况下，少样本模型在跨领域泛化方面的表现如何？
• RQ5 在少样本分类中，测试时微调是否能带来显著提升，还是高质量的特征表示和归一化更为关键？

主要发现

• 课程/元训练机制在少样本学习中仍然至关重要，尤其是在结合预训练时，因为它能有效适应新任务。
• 结合预训练的课程训练显著优于非课程基线方法，即使后者使用了测试时微调。
• 数据增强技术（如 RandAugment、mixup 和 cutmix）在所有模型和基准上均一致地提升了性能。
• Swin-T 尽管对数据需求较高，但在 tieredImageNet 上仍取得了具有竞争力的结果，尤其在与 ProtoNet 或 DN4 结合时，表明其在 FSL 中具有强大潜力。
• 测试时微调在少样本设置中带来的增益有限；相反，高质量的特征嵌入和 ℓ₂ 归一化对性能更为关键。
• 在大领域偏移（如 miniImageNet → Stanford Cars）下，跨领域泛化性能显著下降，表明当前 FSL 方法在应对大领域偏移时仍存在困难。