[论文解读] The Resistance to Label Noise in K-NN and DNN Depends on its Concentration

Amnon Drory, Oria Ratzon+2 more|arXiv (Cornell University)|Mar 30, 2018

Machine Learning and Data Classification参考文献 34被引用 5

一句话总结

本文提出，K-NN 和深度神经网络（DNNs）对标签噪声的鲁棒性在很大程度上取决于训练数据中噪声的集中程度。该文推导出在标签噪声下K-NN误差的解析表达式，表明该表达式可作为DNN性能的强一阶近似；DNN对均匀分布的噪声具有抵抗能力，但在局部集中噪声下会因错误标签主导邻域而失效。

ABSTRACT

We investigate the classification performance of K-nearest neighbors (K-NN) and deep neural networks (DNNs) in the presence of label noise. We first show empirically that a DNN's prediction for a given test example depends on the labels of the training examples in its local neighborhood. This motivates us to derive a realizable analytic expression that approximates the multi-class K-NN classification error in the presence of label noise, which is of independent importance. We then suggest that the expression for K-NN may serve as a first-order approximation for the DNN error. Finally, we demonstrate empirically the proximity of the developed expression to the observed performance of K-NN and DNN classifiers. Our result may explain the already observed surprising resistance of DNN to some types of label noise. It also characterizes an important factor of it showing that the more concentrated the noise the greater is the degradation in performance.

研究动机与目标

• 理解DNN为何在高噪声水平下对某些类型的标签噪声表现出意外的鲁棒性。
• 研究标签噪声的空间集中程度如何影响K-NN和DNN的分类性能。
• 推导出在标签噪声下K-NN分类误差的可解析处理表达式，从而实现对模型行为的理论预测。
• 验证K-NN模型是否可作为DNN在噪声训练设置下的首阶近似。
• 通过将现有噪声鲁棒训练技术与基于邻域的标签统计关联，为这些技术提供新见解。

提出的方法

• 作者基于局部邻域标签分布，推导出在已知标签噪声过程下多分类K-NN分类误差的可实现解析表达式。
• 他们通过实证方法证明，DNN的Softmax输出反映了每个测试样本局部邻域中训练样本的标签分布，支持K-NN类比。
• 使用具有不同集中程度（均匀 vs. 局部集中）的合成标签噪声，训练DNN并测量准确率-噪声水平曲线。
• 将这些经验DNN曲线与解析推导的K-NN曲线进行比较，显示出形状和趋势上的高度一致。
• 在MNIST、CIFAR-10和ImageNet ILSVRC上验证该模型，确认该近似在不同数据集上的鲁棒性。
• 他们观察到DNN输出类似于混淆矩阵，这与蒸馏训练方法相关联。

实验结果

研究问题

• RQ1 标签噪声的空间集中程度如何影响K-NN和DNN的泛化性能？
• RQ2 在标签噪声下K-NN误差的解析表达式能否作为DNN行为的首阶近似？
• RQ3 为何DNN在均匀分布标签噪声下仍保持高准确率，而在局部集中噪声下性能显著下降？
• RQ4 DNN预测在多大程度上依赖于隐式特征空间中训练样本的局部邻域？
• RQ5 DNN输出中观察到的基于邻域的标签分布与现有噪声鲁棒训练技术有何关联？

主要发现

• 在MNIST、CIFAR-10和ImageNet ILSVRC等多个数据集上，K-NN在标签噪声下的解析误差表达式能准确预测K-NN和DNN的性能。
• 在20%均匀分布的标签噪声下，DNN准确率达到约100%；而在20%局部集中噪声下，准确率仅约80%，凸显了噪声集中程度的关键作用。
• 该模型预测，在局部集中噪声下，对噪声的抵抗能力会崩溃，因为错误标签主导局部邻域的概率显著上升。
• 在翻转噪声设置中，当噪声接近50%时，准确率显著下降，因为正确标签在局部邻域中不再占多数；而在均匀噪声下，准确率在接近90%噪声时仍保持较高水平。
• 作者观察到，DNN的Softmax输出编码了训练样本的局部标签分布，验证了DNN预测的基于邻域的解释。
• 本研究揭示，基于蒸馏的训练方法隐式地从混淆矩阵中学习，因为DNN在噪声标签下的输出与这些矩阵相似。