[论文解读] Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
本文主张标签平滑并非与知识蒸馏不兼容，表明在许多设定下平滑可以提升蒸馏效果，但在长尾或多类别情形下可能失效；它引入一个稳定性度量并分析在视觉、二值网络与机器翻译中的影响。
This work aims to empirically clarify a recently discovered perspective that label smoothing is incompatible with knowledge distillation. We begin by introducing the motivation behind on how this incompatibility is raised, i.e., label smoothing erases relative information between teacher logits. We provide a novel connection on how label smoothing affects distributions of semantically similar and dissimilar classes. Then we propose a metric to quantitatively measure the degree of erased information in sample's representation. After that, we study its one-sidedness and imperfection of the incompatibility view through massive analyses, visualizations and comprehensive experiments on Image Classification, Binary Networks, and Neural Machine Translation. Finally, we broadly discuss several circumstances wherein label smoothing will indeed lose its effectiveness. Project page: http://zhiqiangshen.com/projects/LS_and_KD/index.html.
研究动机与目标
- 澄清标签平滑与知识蒸馏之间被争议的不兼容性。
- 解释标签平滑如何影响教师模型中同类与跨类表示。
- 提出用于衡量标签平滑 erased 信息的定量稳定性度量。
- 在 ImageNet、CUB200-2011、iMaterialist、二值网络和德英 NMT 上对带标签平滑的 KD 进行实证评估。
- 识别在长期尾部分布或大量类别情形下标签平滑在 KD 中的效果较差的条件。
提出的方法
- 对比教师在硬标签与平滑标签条件下的模型训练与可视化。
- 定义并使用衡量类内概率方差的稳定性度量。
- 在教师输出的软标签下进行知识蒸馏设置，不使用硬标签（教师与学生输出之间的 KL 散度）。
- 在 ImageNet-1K、CUB200-2011、iMaterialist、二值网络和德英 NMT 上进行广泛实验。
- 通过对不同教师准确度与架构的消融，评估对 KD 的监督质量。
实验结果
研究问题
- RQ1标签平滑在教师网络中是否会削弱知识蒸馏的有效性？
- RQ2标签平滑如何影响同类表示以及知识向学生的转移？
- RQ3是否可以用稳定性度量来量化被 erased 的信息并预测 KD 的成功？
- RQ4在什么数据情形（长尾或多类别）下标签平滑在 KD 中的效果变差？
- RQ5在使用标签平滑时，哪些因素决定成为更好的知识蒸馏教师？
主要发现
- 标签平滑不削弱 KD 的表现；带平滑的教师仍可获得与未平滑教师相当或更好的验证准确率，尽管训练损失更高。
- 更高准确度的教师通常能蒸馏出更强的学生，尽管关系并非严格线性，且取决于学生的容量。
- 标签平滑会降低同类内方差（稳定性）并平坦化预测，但保留跨类关系结构，有助于对相似类别的 KD。
- 所提稳定性度量与模型准确度相关，可作为 KD 时教师质量的指标。
- 长尾分布和类别数量增多会降低标签平滑在 KD 中的有效性；结果也随数据集的复杂度和类别数量而变化。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。