[论文解读] Not All Knowledge Is Created Equal.

Ziyun Li, Xinshao Wang+5 more|arXiv (Cornell University)|Jun 2, 2021

Machine Learning and Data Classification参考文献 34被引用 5

一句话总结

本文提出了一种自信知识选择结合互知识蒸馏（CMD）的框架，这是一种选择性知识蒸馏方法，通过从噪声或不确定的教师模型中过滤不可靠知识，提升模型的鲁棒性。CMD 使用静态或渐进式阈值筛选出仅可信的知识，从而在标签噪声环境下实现最先进性能。

ABSTRACT

Mutual knowledge distillation (MKD) improves a model by distilling knowledge from another model. However, not all knowledge is certain and correct, especially under adverse conditions. For example, label noise usually leads to less reliable models due to the undesired memorisation [1, 2]. Wrong knowledge misleads the learning rather than helps. This problem can be handled by two aspects: (i) improving the reliability of a model where the knowledge is from (i.e., knowledge source's reliability); (ii) selecting reliable knowledge for distillation. In the literature, making a model more reliable is widely studied while selective MKD receives little attention. Therefore, we focus on studying selective MKD and highlight its importance in this work. Concretely, a generic MKD framework, Confident knowledge selection followed by Mutual Distillation (CMD), is designed. The key component of CMD is a generic knowledge selection formulation, making the selection threshold either static (CMD-S) or progressive (CMD-P). Additionally, CMD covers two special cases: zero knowledge and all knowledge, leading to a unified MKD framework. We empirically find CMD-P performs better than CMD-S. The main reason is that a model's knowledge upgrades and becomes confident as the training progresses. Extensive experiments are present to demonstrate the effectiveness of CMD and thoroughly justify the design of CMD. For example, CMD-P obtains new state-of-the-art results in robustness against label noise.

研究动机与目标

• 解决并非所有蒸馏知识都可靠的问题，尤其是在标签噪声环境下。
• 强调选择性知识蒸馏的重要性，相较于提升教师模型可靠性，其研究仍被严重低估。
• 设计一种通用且统一的互知识蒸馏框架，支持零、部分或完整知识迁移。
• 探究基于置信度的知识选择如何提升模型泛化能力与鲁棒性。
• 通过实证验证，渐进式阈值在知识选择中优于静态阈值。

提出的方法

• 在互知识蒸馏框架内提出一种通用的知识选择公式，支持基于模型置信度的动态或固定知识选择。
• 提出两种变体：CMD-S（静态阈值）和CMD-P（渐进式阈值），其中选择阈值随训练过程逐步提高。
• 利用教师模型的置信度分数，在蒸馏前过滤掉低可靠性预测。
• 设计框架以自然包含两个极端情况：零知识（无蒸馏）和全部知识（标准MKD），形成统一框架。
• 在学生模型与选定教师输出之间使用标准蒸馏损失，且在损失计算前应用置信度过滤。
• 在蒸馏过程中应用知识过滤，同时使用教师知识和原始标签联合训练学生模型。

实验结果

研究问题

• RQ1 在标签噪声环境下，选择性知识蒸馏与标准互知识蒸馏在鲁棒性方面有何差异？
• RQ2 在知识选择中，使用静态阈值与渐进式置信度阈值有何影响？
• RQ3 能否设计一个统一的互知识蒸馏框架，使其自然包含零知识和完整知识迁移作为特例？
• RQ4 过滤低置信度知识是否能提升模型泛化能力并减少对噪声标签的记忆？
• RQ5 基于置信度的选择机制在噪声标签设置下对实现最先进性能的贡献是什么？

主要发现

• CMD-P（采用渐进式置信度阈值）在所有评估设置下均优于CMD-S。
• 渐进式阈值策略更符合训练动态，因为模型置信度随时间推移而提升。
• CMD-P在标准基准上实现了对抗标签噪声的鲁棒性新 SOTA 结果。
• 该框架成功将零知识蒸馏与全知识蒸馏统一为特例，展现出良好灵活性。
• 实证结果证实，过滤不可靠知识能显著提升模型泛化能力，并降低对标签噪声的敏感性。