[论文解读] Class-Balanced Distillation for Long-Tailed Visual Recognition

Ahmet İşcen, André de Melo Araújo+2 more|arXiv (Cornell University)|Apr 12, 2021

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出类平衡蒸馏（Class-Balanced Distillation, CBD），一种两阶段框架，通过将使用实例采样训练的教师模型的知识蒸馏到使用类平衡采样从头训练的学生模型中，从而提升长尾视觉识别性能。CBD 显著优于先前方法，在 ImageNet-LT、iNaturalist17 和 iNaturalist18 上均达到最先进准确率，相较于之前最佳方法，使用 ResNet-152 时准确率提升高达 5.5%。

ABSTRACT

Real-world imagery is often characterized by a significant imbalance of the number of images per class, leading to long-tailed distributions. An effective and simple approach to long-tailed visual recognition is to learn feature representations and a classifier separately, with instance and class-balanced sampling, respectively. In this work, we introduce a new framework, by making the key observation that a feature representation learned with instance sampling is far from optimal in a long-tailed setting. Our main contribution is a new training method, referred to as Class-Balanced Distillation (CBD), that leverages knowledge distillation to enhance feature representations. CBD allows the feature representation to evolve in the second training stage, guided by the teacher learned in the first stage. The second stage uses class-balanced sampling, in order to focus on under-represented classes. This framework can naturally accommodate the usage of multiple teachers, unlocking the information from an ensemble of models to enhance recognition capabilities. Our experiments show that the proposed technique consistently outperforms the state of the art on long-tailed recognition benchmarks such as ImageNet-LT, iNaturalist17 and iNaturalist18.

研究动机与目标

• 解决真实视觉数据集中长尾类别分布带来的挑战，即低频（尾部）类别学习效果差的问题。
• 克服通过实例采样学习的特征表示在长尾设置下表现次优的局限性。
• 通过解耦特征学习与分类器训练，实现对尾部类别识别性能的提升，同时不降低头部类别的准确率。
• 支持使用多个教师模型聚合互补知识，增强学生模型的泛化能力。
• 开发一种灵活、高效且可扩展的训练框架，优于现有的两阶段与单阶段方法。

提出的方法

• 在第一阶段使用实例采样训练一个或多个教师模型，以确保所有类别均具备鲁棒的特征学习能力。
• 在第二阶段，从头开始使用类平衡采样重新训练学生模型，以加强对低频尾部类别的关注。
• 应用知识蒸馏，将教师模型的软标签和中间特征表示迁移至学生模型。
• 使用结合交叉熵分类损失与特征蒸馏损失的联合损失函数，指导学生模型的训练。
• 通过训练多个独立教师模型并在蒸馏过程中平均其知识，支持集成蒸馏（CBD_E）。
• 尽管训练阶段使用多个教师模型，但在推理阶段仅使用单一学生模型，以保持推理效率。

实验结果

研究问题

• RQ1 知识蒸馏能否改善在长尾设置下通过实例采样学习到的特征表示？
• RQ2 通过使用不同采样策略解耦特征学习与分类器训练，是否能提升尾部类别的性能？
• RQ3 多个教师模型能否共同提升长尾识别中学生模型的泛化能力？
• RQ4 CBD 在不同数据集和网络架构下，与最先进方法相比，在准确率和鲁棒性方面表现如何？
• RQ5 CBD 是否在显著提升尾部类别准确率的同时，保持或提升头部类别的性能？

主要发现

• 在使用 ResNet-50 时，CBD 在 ImageNet-LT 上达到 51.6% 的 top-1 准确率，比之前最先进方法高出 3.6 个百分点。
• 使用四个教师模型的 CBD_E 在 ImageNet-LT 上达到 55.6% 的准确率，相较于使用 ResNet-152 的之前最佳方法提升 5.5%。
• 在 iNaturalist18 上，CBD_E 使用 ResNet-101 达到 75.3% 的准确率，相较于之前最先进方法相对提升 4.5%。
• 与之前最佳方法相比，CBD_E 在 iNaturalist18 上性能提升 3.8%，在 iNaturalist17 上提升 3.5%。
• 该方法在所有类别组中均保持高性能，尾部类别获得显著提升，同时头部类别准确率得以保持。
• 将 CBD 与 logit 调整损失结合后进一步提升性能，在 CBD_E 框架下于 ImageNet-LT 上达到 56.1% 的准确率。