[论文解读] Coresets for Robust Training of Deep Neural Networks against Noisy Labels.

Baharan Mirzasoleiman, Kaidi Cao+1 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Data Classification被引用 48

一句话总结

该论文提出了一种基于压缩集（coresets）的方法，通过选择能近似低秩雅可比矩阵的清洁数据加权子集，实现深度神经网络在噪声标签下的鲁棒训练。理论分析表明，对这些压缩集进行梯度下降可避免对噪声标签的过拟合，在 CIFAR-10 数据集上使用 80% 噪声标签时准确率比当前最先进方法高出 6%，在 mini Webvision 上则提升了 7%。

ABSTRACT

Modern neural networks have the capacity to overfit noisy labels frequently found in real-world datasets. Although great progress has been made, existing techniques are limited in providing theoretical guarantees for the performance of the neural networks trained with noisy labels. Here we propose a novel approach with strong theoretical guarantees for robust training of deep networks trained with noisy labels. The key idea behind our method is to select weighted subsets (coresets) of clean data points that provide an approximately low-rank Jacobian matrix. We then prove that gradient descent applied to the subsets do not overfit the noisy labels. Our extensive experiments corroborate our theory and demonstrate that deep networks trained on our subsets achieve a significantly superior performance compared to state-of-the art, e.g., 6% increase in accuracy on CIFAR-10 with 80% noisy labels, and 7% increase in accuracy on mini Webvision.

研究动机与目标

• 解决深度神经网络在真实世界数据集中因标签噪声而过拟合的问题。
• 为标签噪声下的鲁棒训练提供强有力的理论保证。
• 开发一种数据选择方法，确保在所选子集上进行的梯度下降不会对噪声标签过拟合。
• 在高标签噪声水平的基准数据集上提升泛化性能。

提出的方法

• 该方法构建了能近似诱导出低秩雅可比矩阵的清洁数据点加权压缩集。
• 它利用雅可比矩阵的结构，识别出能保持模型优化动态的代表性数据子集。
• 理论分析证明，对这些压缩集进行梯度下降可避免对噪声标签的过拟合。
• 压缩集的选择基于最小化雅可比矩阵低秩结构的近似误差。
• 该方法端到端应用于在所选子集上训练深度网络，从而确保鲁棒性。

实验结果

研究问题

• RQ1 是否存在一种理论基础坚实的数据选择方法，可防止深度网络对噪声标签过拟合？
• RQ2 选择能保持低秩雅可比结构的压缩集是否能在标签噪声下带来更好的泛化性能？
• RQ3 在噪声基准数据集上，基于此类压缩集训练的模型性能与最先进方法相比如何？
• RQ4 能否为噪声标签设置下的优化动态推导出理论保证？

主要发现

• 所提出的压缩集方法在 CIFAR-10 数据集上使用 80% 噪声标签时，相比最先进方法准确率提升 6%。
• 在 mini Webvision 数据集上，该方法在高标签噪声下相比现有方法准确率提升 7%。
• 理论分析确认，对所选压缩集进行梯度下降不会对噪声标签过拟合。
• 即使标签噪声超过 80%，该方法仍保持优异性能，展现出强大的鲁棒性。