[论文解读] Balanced Knowledge Distillation for Long-tailed Learning

Shaoyu Zhang, Chen Chen+2 more|arXiv (Cornell University)|Apr 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 10

一句话总结

本文提出了一种新型蒸馏框架——平衡知识蒸馏（BKD），通过结合实例平衡交叉熵损失与类别平衡蒸馏损失，将长尾学习中的表示学习与尾部类别优化解耦。BKD在ImageNet-LT、Places-LT和iNaturalist 2018数据集上均达到最先进性能，对少样本类别最高提升4.7%。

ABSTRACT

Deep models trained on long-tailed datasets exhibit unsatisfactory performance on tail classes. Existing methods usually modify the classification loss to increase the learning focus on tail classes, which unexpectedly sacrifice the performance on head classes. In fact, this scheme leads to a contradiction between the two goals of long-tailed learning, i.e., learning generalizable representations and facilitating learning for tail classes. In this work, we explore knowledge distillation in long-tailed scenarios and propose a novel distillation framework, named Balanced Knowledge Distillation (BKD), to disentangle the contradiction between the two goals and achieve both simultaneously. Specifically, given a vanilla teacher model, we train the student model by minimizing the combination of an instance-balanced classification loss and a class-balanced distillation loss. The former benefits from the sample diversity and learns generalizable representation, while the latter considers the class priors and facilitates learning mainly for tail classes. The student model trained with BKD obtains significant performance gain even compared with its teacher model. We conduct extensive experiments on several long-tailed benchmark datasets and demonstrate that the proposed BKD is an effective knowledge distillation framework in long-tailed scenarios, as well as a new state-of-the-art method for long-tailed learning. Code is available at https://github.com/EricZsy/BalancedKnowledgeDistillation .

研究动机与目标

• 解决长尾学习中通用表示学习与尾部类别性能提升之间的固有矛盾。
• 克服重加权策略因过度聚焦尾部类别而损害表示学习的局限性。
• 探索知识蒸馏作为解耦不平衡数据中表示学习与类别促进关系的解决方案。
• 开发一种蒸馏框架，同时提升泛化能力与尾部类别性能。

提出的方法

• 在不平衡数据上使用标准交叉熵损失训练一个普通教师模型。
• 使用组合损失训练学生模型：通过实例平衡交叉熵损失实现通用表示学习，通过类别平衡蒸馏损失聚焦尾部类别。
• 在蒸馏过程中使用温度参数T=2，以稳定软标签并提升知识迁移效果。
• 将学生训练过程解耦为两个独立目标：通过实例平衡交叉熵实现表示学习，通过类别平衡KD实现类别感知知识迁移。
• 在包括CIFAR-10/100、ImageNet-LT、Places-LT和iNaturalist 2018在内的长尾数据集上应用该方法。

实验结果

研究问题

• RQ1 重加权分类损失在长尾学习中如何影响头部与尾部类别性能之间的权衡？
• RQ2 知识蒸馏能否有效适配长尾数据，以同时提升表示学习与尾部类别性能？
• RQ3 将表示学习与类别感知蒸馏解耦是否优于联合优化？
• RQ4 在长尾场景下，蒸馏的最优温度设置是什么？

主要发现

• 在长尾CIFAR-10数据集上，BKD相较于其教师模型在ρ=100时实现10个百分点的准确率提升。
• 在iNaturalist 2018数据集上，BKD达到最高整体top-1准确率，并显著缩小了多类、中类与少类子集之间的性能差距。
• 在Places-LT数据集上，BKD在少样本子集上的准确率较最先进方法高出超过4.7%。
• 在ImageNet-LT数据集上，BKD在不使用多教师模型或复杂调度策略的情况下，大幅超越LFME方法。
• BKD与cRT（分类器微调）的结合在ImageNet-LT上进一步提升了性能，表明二者具有互补优势。
• 在所有长尾CIFAR数据集上，最优蒸馏温度被确定为T=2。