[论文解读] Decoupled Knowledge Distillation

Borui Zhao, Quan Cui+3 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出了一种新型的基于logits的知识蒸馏方法——解耦知识蒸馏（Decoupled Knowledge Distillation, DKD），通过将目标类别知识蒸馏（TCKD）与非目标类别知识蒸馏（NCKD）分离，克服了传统知识蒸馏方法的局限性。通过解耦这两个组件，DKD在图像分类和目标检测任务中显著提升了训练效率与性能，实现了与复杂特征蒸馏方法相当的SOTA结果，且计算成本极低。

ABSTRACT

State-of-the-art distillation methods are mainly based on distilling deep features from intermediate layers, while the significance of logit distillation is greatly overlooked. To provide a novel viewpoint to study logit distillation, we reformulate the classical KD loss into two parts, i.e., target class knowledge distillation (TCKD) and non-target class knowledge distillation (NCKD). We empirically investigate and prove the effects of the two parts: TCKD transfers knowledge concerning the "difficulty" of training samples, while NCKD is the prominent reason why logit distillation works. More importantly, we reveal that the classical KD loss is a coupled formulation, which (1) suppresses the effectiveness of NCKD and (2) limits the flexibility to balance these two parts. To address these issues, we present Decoupled Knowledge Distillation (DKD), enabling TCKD and NCKD to play their roles more efficiently and flexibly. Compared with complex feature-based methods, our DKD achieves comparable or even better results and has better training efficiency on CIFAR-100, ImageNet, and MS-COCO datasets for image classification and object detection tasks. This paper proves the great potential of logit distillation, and we hope it will be helpful for future research. The code is available at https://github.com/megvii-research/mdistiller.

研究动机与目标

• 探究为何尽管计算成本低，基于logits的蒸馏方法在性能上仍逊于基于特征的蒸馏方法。
• 分析目标类别知识与非目标类别知识在logits蒸馏中的不同作用。
• 识别经典KD损失中TCKD与NCKD的耦合是抑制知识迁移有效性与灵活性的关键限制。
• 提出一种解耦框架，实现TCKD与NCKD的独立优化，从而提升蒸馏性能与效率。
• 在图像分类与目标检测基准上验证DKD在训练速度、模型泛化能力与可迁移性方面的优越性。

提出的方法

• 将经典KD损失重新表述为两个分量：目标类别知识蒸馏（TCKD）与非目标类别知识蒸馏（NCKD），以支持独立分析。
• 通过将系数 $1 - p_t^{ au}$ 替换为可学习常数 $\beta$，实现NCKD损失与教师网络在目标类别上置信度的解耦，从而消除对预测准确样本的抑制。
• 引入可学习超参数 $\alpha$ 以控制TCKD的贡献，实现对难度感知与类别对比知识迁移的灵活平衡。
• 在训练过程中仅使用教师与学生网络的logits，无需昂贵的中间特征提取与存储，即可应用DKD于学生网络。
• 利用t-SNE与相关性矩阵可视化，对比KD与DKD在特征可分性与logits相似性方面的差异。
• 在CIFAR-100、ImageNet与MS-COCO上进行消融实验，评估性能、训练效率与特征迁移能力。

(a) Classical Knowledge Distillation (KD).

实验结果

研究问题

• RQ1 在logits蒸馏中，目标类别知识蒸馏（TCKD）与非目标类别知识蒸馏（NCKD）各自有何独特贡献？
• RQ2 为何尽管logits具有丰富的语义信息，经典知识蒸馏仍表现不佳？
• RQ3 NCKD与教师在目标类别上的置信度之间的耦合如何抑制知识迁移的有效性？
• RQ4 解耦TCKD与NCKD是否能在不依赖中间特征蒸馏的前提下，提升蒸馏性能与训练效率？
• RQ5 DKD是否通过减少大模型中NCKD的抑制效应，缓解了‘教师越大，性能越差’的悖论？

主要发现

• 非目标类别知识蒸馏（NCKD）是logits蒸馏中性能提升的主要驱动力，仅使用NCKD的模型在性能上可与或优于经典KD。
• 经典KD将NCKD与教师在目标类别上的置信度耦合，导致对预测准确样本的NCKD被抑制——而这些样本正是知识最可靠的来源，从而限制了蒸馏的有效性。
• 在CIFAR-100上，DKD使用ResNet8×4学生网络与ResNet32×4教师网络，实现了76.45%的top-1准确率，优于KD的75.04%，并展现出更优的训练效率。
• 在ImageNet上，DKD使用ResNet50教师与WRN-16-2学生，达到76.60%的top-1准确率，超过KD的75.36%，并在下游任务中展现出更优的特征迁移能力。
• DKD提升了特征迁移能力：在STL-10与Tiny-ImageNet上的线性探测实验中，DKD分别取得72.9%与37.1%的准确率，优于KD的70.9%与33.9%。
• 可视化结果表明，DKD生成了更具可分性的特征（t-SNE），且学生logits与教师logits的相关性更高（相关性矩阵），表明其具备更优的知识迁移能力。

(b) Decoupled Knowledge Distillation (DKD).