[论文解读] Improving Generalization and Robustness with Noisy Collaboration in Knowledge Distillation.

Elahe Arani, Fahad Sarfraz+1 more|arXiv (Cornell University)|Oct 11, 2019

Neural Networks and Applications被引用 6

一句话总结

该论文通过在多个层面引入受控噪声，提出了Fickle Teacher、Soft-Randomization和Messy-Collaboration方法，以增强知识蒸馏中的泛化能力和鲁棒性。通过改变教师模型的监督信号、随机化学生模型的输入，并使用损坏的标签进行训练，这些方法在仅造成轻微准确率下降的情况下，显著提升了泛化能力和对抗鲁棒性。

ABSTRACT

Inspired by trial-to-trial variability in the brain that can result from multiple noise sources, we introduce variability through noise at different levels in a knowledge distillation framework. We introduce Fickle Teacher which provides variable supervision signals to the student for the same input. We observe that the response variability from the teacher results in a significant generalization improvement in the student. We further propose Soft-Randomization as a novel technique for improving robustness to input variability in the student. This minimizes the dissimilarity between the student's distribution on noisy data with teacher's distribution on clean data. We show that soft-randomization, even with low noise intensity, improves the robustness significantly with minimal drop in generalization. Lastly, we propose a new technique, Messy-collaboration, which introduces target variability, whereby student and/or teacher are trained with randomly corrupted labels. We find that supervision from a corrupted teacher improves the adversarial robustness of student significantly while preserving its generalization and natural robustness. Our extensive empirical results verify the effectiveness of adding constructive noise in the knowledge distillation framework for improving the generalization and robustness of the model.

研究动机与目标

• 通过引入受控噪声注入，提升知识蒸馏中的模型泛化能力和鲁棒性。
• 通过引入Fickle Teacher实现响应可变性，以解决静态教师监督的局限性。
• 通过Soft-Randomization提升对输入扰动的鲁棒性，同时最小化学生与教师之间的分布差异。
• 研究标签损坏对学生模型鲁棒性的影响，提出Messy-Collaboration作为训练策略。
• 证明知识蒸馏中建设性噪声的引入可同时提升自然泛化能力和对抗鲁棒性。

提出的方法

• Fickle Teacher通过在推理时引入噪声，使相同输入产生不同的教师输出，从而引入响应可变性。
• Soft-Randomization通过最小化学生在噪声输入上的输出与教师在干净输入上的输出之间的KL散度，实现优化。
• Messy-Collaboration通过在训练中使用随机损坏的标签来模拟标签噪声，对教师和/或学生进行训练。
• 该框架在三个层面引入噪声：教师输出的可变性、输入扰动和标签损坏。
• 该方法利用具有动态监督信号的知识蒸馏，以提升学生模型的泛化能力和鲁棒性。
• 在Fickle Teacher中，噪声应用于推理阶段；在Soft-Randomization和Messy-Collaboration中，噪声应用于训练阶段。

实验结果

研究问题

• RQ1 在教师模型中引入响应可变性是否能提升知识蒸馏中的泛化能力？
• RQ2 Soft-Randomization是否能有效提升对输入噪声的鲁棒性，同时保持泛化性能？
• RQ3 使用损坏标签进行训练是否能增强学生模型的对抗鲁棒性？
• RQ4 多种噪声源的组合如何影响模型的泛化能力和鲁棒性？
• RQ5 在知识蒸馏中应用噪声时，鲁棒性提升与准确率下降之间的权衡关系如何？

主要发现

• Fickle Teacher通过为相同输入提供可变的监督信号，显著提升了泛化能力。
• Soft-Randomization在输入变化下表现出良好的鲁棒性，即使在低噪声强度下也仅造成极小的泛化性能下降。
• Messy-Collaboration在保持学生模型自然鲁棒性和泛化性能的同时，增强了其对抗鲁棒性。
• 多种噪声源的组合相比标准蒸馏，能带来更优的泛化能力和鲁棒性。
• 知识蒸馏中的建设性噪声能有效提升泛化能力和鲁棒性，且不损害模型准确率。
• 实证结果证实，输出、输入和标签层面的噪声注入在不同层次上产生了协同增益，显著提升了模型性能。