[论文解读] Soft Labeling Affects Out-of-Distribution Detection of Deep Neural Networks

Doyup Lee, Yeongjae Cheon|arXiv (Cornell University)|Jul 7, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用 5

一句话总结

本文表明，软标签——特别是从教师模型进行知识蒸馏——可以在不使用额外的分布外（OOD）训练数据或改变模型架构的情况下，显著提升深度神经网络的分布外（OOD）检测性能。通过从经过异常值暴露训练的教师模型迁移软标签，学生模型在保持或提升分类准确率和校准性的同时，实现了当前最优的OOD检测性能。

ABSTRACT

Soft labeling becomes a common output regularization for generalization and model compression of deep neural networks. However, the effect of soft labeling on out-of-distribution (OOD) detection, which is an important topic of machine learning safety, is not explored. In this study, we show that soft labeling can determine OOD detection performance. Specifically, how to regularize outputs of incorrect classes by soft labeling can deteriorate or improve OOD detection. Based on the empirical results, we postulate a future work for OOD-robust DNNs: a proper output regularization by soft labeling can construct OOD-robust DNNs without additional training of OOD samples or modifying the models, while improving classification accuracy.

研究动机与目标

• 研究软标签对深度神经网络中分布外（OOD）检测性能的影响。
• 探索软标签是否可在不显式使用OOD样本进行训练的情况下提升OOD检测性能。
• 确定通过软标签进行输出正则化是否能同时增强OOD鲁棒性与分布内泛化能力。
• 评估通过软标签蒸馏，OOD检测性能从教师模型向学生模型迁移的可行性。
• 评估软标签是否可缓解OOD检测方法（如异常值暴露）中常见的准确率下降问题。

提出的方法

• 在TinyImageNet上使用异常值暴露（OE）训练一个WideResNet（WRN-40-2）作为教师模型，以提升OOD检测性能。
• 利用训练好的教师模型为分布内训练样本生成软标签（所有类别上的概率分布）。
• 使用来自教师模型的软标签（交叉熵损失）训练一个学生模型（相同或不同架构），且在训练过程中不使用任何OOD样本。
• 将标签平滑和知识蒸馏作为软标签的具体形式，通过交叉熵与真实标签和软标签的加权组合进行形式化。
• 使用AUROC在多个OOD数据集（如MNIST、Fashion-MNIST、LSUN、TinyImageNet）上评估OOD检测性能，并通过期望校准误差（ECE）评估校准性。
• 对比基线模型、异常值暴露模型与蒸馏学生模型的性能，以分离软标签对OOD鲁棒性的影响。

实验结果

研究问题

• RQ1 软标签如何影响深度神经网络的分布外检测性能？
• RQ2 能否从经过异常值暴露训练的教师模型中，通过知识蒸馏将鲁棒的OOD检测能力传递给学生模型，且学生模型训练过程中不使用OOD样本？
• RQ3 软标签是否能同时提升OOD检测性能与分布内分类准确率，从而克服异常值暴露中常见的准确率权衡问题？
• RQ4 学生模型的OOD检测性能是否依赖于其教师模型生成的软标签？该效应是否在不同架构间具有模型无关性？
• RQ5 是否可以设计一种软标签策略，使DNN对未见OOD样本具备鲁棒性，而无需修改模型结构或在训练中使用OOD数据？

主要发现

• 从经历异常值暴露的教师模型中进行知识蒸馏，可成功将高OOD检测性能传递给学生模型，即使学生模型仅在分布内数据上进行训练。
• 当教师模型暴露于MNIST+TinyImageNet时，学生模型在多个OOD数据集（包括MNIST和TinyImageNet）上的AUROC得分与教师模型相当或更优。
• 与基线相比，学生模型的测试准确率和期望校准误差（ECE）得到提升或保持不变，从而克服了异常值暴露中常见的准确率下降问题。
• 标签平滑会降低OOD检测性能，表明软标签策略的选择对OOD鲁棒性至关重要。
• 学生模型的OOD检测性能与教师模型高度一致，表明软标签效应具有模型无关性，并可在不同架构（如WRN和DenseNet）之间有效迁移。
• 通过使用训练良好的教师模型对错误类别预测进行正则化，可设计出一种软标签策略，使DNN具备OOD鲁棒性，而无需额外的OOD数据或模型修改。