[论文解读] Distilling Virtual Examples for Long-tailed Recognition

Yin-Yin He, Jianxin Wu+1 more|arXiv (Cornell University)|Mar 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

本文提出了一种名为知识蒸馏虚拟样本（DiVE）的方法，通过将教师模型的预测结果视为虚拟样本，以改善长尾视觉识别任务。通过温度缩放和归一化使虚拟样本分布更加平坦，DiVE 显式提升了尾部类别性能，在 CIFAR-100-LT、ImageNet-LT 和 iNaturalist2018 数据集上均取得了最先进（SOTA）的准确率。

ABSTRACT

We tackle the long-tailed visual recognition problem from the knowledge distillation perspective by proposing a Distill the Virtual Examples (DiVE) method. Specifically, by treating the predictions of a teacher model as virtual examples, we prove that distilling from these virtual examples is equivalent to label distribution learning under certain constraints. We show that when the virtual example distribution becomes flatter than the original input distribution, the under-represented tail classes will receive significant improvements, which is crucial in long-tailed recognition. The proposed DiVE method can explicitly tune the virtual example distribution to become flat. Extensive experiments on three benchmark datasets, including the large-scale iNaturalist ones, justify that the proposed DiVE method can significantly outperform state-of-the-art methods. Furthermore, additional analyses and experiments verify the virtual example interpretation, and demonstrate the effectiveness of tailored designs in DiVE for long-tailed problems.

研究动机与目标

• 解决因数据不平衡导致模型在低频尾部类别上表现不佳的长尾识别问题。
• 通过将模型预测解释为虚拟样本，利用类别间交互关系，实现跨类别知识迁移。
• 显式控制虚拟样本的分布，使其更平坦、更均衡，从而提升尾部类别的泛化能力。
• 开发一种方法，在 iNaturalist 等大规模真实世界长尾基准数据集上超越现有最先进方法。

提出的方法

• 虚拟样本被定义为模型在所有训练样本上的预测类别概率，可被解释为每个输入对各类别的软性、层级贡献。
• 将知识蒸馏应用于从教师模型生成的虚拟样本到学生模型，实现跨类别的知识迁移。
• 采用温度缩放策略以平滑教师模型的输出分布，使虚拟样本分布更平坦、更均衡。
• 该方法结合了幂次归一化与蒸馏损失，近似标签分布学习（DLDL），从而实现对虚拟样本分布的显式控制。
• 该方法避免在蒸馏目标中直接使用真实标签，转而依赖模型自身的预测结果，以促进类别间的交互。
• 最终损失函数结合了来自软化教师输出的蒸馏损失与一个平衡的监督信号，从而提升对尾部类别的泛化能力。

实验结果

研究问题

• RQ1 从模型预测（即虚拟样本）中进行知识蒸馏，能否有效缓解视觉识别中的长尾数据偏差？
• RQ2 虚拟样本的分布如何影响长尾识别模型的性能？
• RQ3 通过温度缩放与归一化使虚拟样本分布变平，能否提升尾部类别的泛化能力？
• RQ4 将模型预测解释为虚拟样本在长尾识别中是否合理且有效？与传统的重加权或重采样方法相比表现如何？
• RQ5 通过虚拟样本蒸馏训练的学生模型，能否在真实世界长尾数据集上超越教师模型及现有最先进方法？

主要发现

• 在 CIFAR-100-LT（β=100）上，DiVE 达到 51.66% 的准确率，超过 RIDE 教师模型（51.07%）和现有 SOTA 方法，展现出最先进性能。
• 在 iNaturalist2018 数据集上，DiVE 达到 73.44% 的准确率，优于 RIDE 方法（72.60%），并创下新的 SOTA 记录。
• FULL 教师模型（在完整 CIFAR-100 上训练）的虚拟样本分布显著比 CE 教师模型更平坦，且这种平坦性与更高的学生模型准确率（61.58% vs. 38.35%）正相关。
• 使用温度 τ=3 和幂次归一化可使虚拟样本分布最平坦，同时获得最高准确率（CIFAR-100-LT 上为 62.00%），证实了分布控制的重要性。
• 在 DiVE 中移除 BSCE 损失项后性能略有下降，但仅使用 DLDL 的变体仍优于大多数基线方法，验证了仅依靠虚拟样本蒸馏的有效性。
• 消融实验表明，若在蒸馏目标中使用真实标签（通过 $\tilde{\vec{t}}$），性能反而下降，进一步证实仅从纯模型预测中蒸馏知识更为有效。