[论文解读] Better Supervisory Signals by Observing Learning Paths

Yi Ren, Shangmin Guo+1 more|arXiv (Cornell University)|Mar 4, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 Filter-KD，一种知识蒸馏方法，通过观察训练过程中的学习路径来改进监督信号。通过在教师网络输出上应用指数移动平均（EMA），该方法稳定了困难样本上的噪声预测，从而实现更好的泛化性能，并在 CIFAR-100 和 CIFAR-10 上取得当前最优结果，尤其在标签噪声环境下表现更优。

ABSTRACT

Better-supervised models might have better performance. In this paper, we first clarify what makes for good supervision for a classification problem, and then explain two existing label refining methods, label smoothing and knowledge distillation, in terms of our proposed criterion. To further answer why and how better supervision emerges, we observe the learning path, i.e., the trajectory of the model's predictions during training, for each training sample. We find that the model can spontaneously refine "bad" labels through a "zig-zag" learning path, which occurs on both toy and real datasets. Observing the learning path not only provides a new perspective for understanding knowledge distillation, overfitting, and learning dynamics, but also reveals that the supervisory signal of a teacher network can be very unstable near the best points in training on real tasks. Inspired by this, we propose a new knowledge distillation scheme, Filter-KD, which improves downstream classification performance in various settings.

研究动机与目标

• 理解知识蒸馏为何能超越简单标签平滑，提升模型性能。
• 利用学习路径的概念，分析训练过程中监督信号的演化过程。
• 识别教师网络在接近最优训练点时输出的不稳定性，作为监督质量下降的根源。
• 提出一种通过在学习路径上对预测结果应用 EMA 来过滤噪声的方法，以改进蒸馏效果。
• 证明更好的监督信号可自然地通过模型动态产生，即使不进行标签修正。

提出的方法

• 作者提出一种新准则：良好的监督应使预测结果与真实类别分布 p*(y|x) 的 L2 距离最小化。
• 他们观察到，在‘坏’标签样本上，模型遵循一种‘之’字形学习路径——先向真实分布靠近，随后收敛至独热标签分布。
• 该路径揭示了模型在接近收敛时，教师输出在模糊或噪声样本上表现出高度不稳定性。
• Filter-KD 在训练过程中对教师网络的输出预测应用指数移动平均（EMA），以生成更平滑、更稳定的监督信号。
• 该方法不改变教师网络的训练过程，而是将 EMA 输出作为软标签用于学生网络的蒸馏。
• 该方法在 CIFAR-10 和 CIFAR-100 上进行了实证验证，结果表明其在性能上持续优于标准 KD 和自蒸馏方法。

实验结果

研究问题

• RQ1 为何当教师与学生网络完全相同时，知识蒸馏仍能提升性能？
• RQ2 模型预测在训练过程中如何演化？在困难或噪声样本上会呈现何种模式？
• RQ3 学习路径的动力学能否解释蒸馏过程中更优监督信号的出现？
• RQ4 教师输出在收敛附近出现的不稳定性是否限制了蒸馏性能？
• RQ5 通过 EMA 对教师输出轨迹进行平滑，能否带来下游性能的提升？

主要发现

• 在使用独热标签训练时，Filter-KD 在 CIFAR-100 上达到 95.66% 的测试准确率，优于标准 KD（95.30%）和 ESKD（95.29%）。
• 在 CIFAR-10 上，Filter-KD 达到 80.23% 的测试准确率，显著高于 OHT（78.02%）和 KD（78.64%）。
• 该方法将 CIFAR-100 上的期望校准误差（ECE）降低至 0.006，表明模型置信度更加校准。
• 在玩具数据集和真实数据集上均观察到‘之’字形学习路径，表明模型在训练过程中动态地优化标签。
• Filter-KD 在存在标签噪声或模糊样本的数据集上性能提升尤为显著，展现出更强的鲁棒性。
• 作者发现，对模型参数应用 EMA 的效果不如对输出应用 EMA，表明输出平滑在监督任务中更具优势。