[论文解读] Co-sampling: Training Robust Networks for Extremely Noisy Supervision

Bo Han, Quanming Yao+6 more|arXiv (Cornell University)|Apr 18, 2018

Machine Learning and Data Classification参考文献 20被引用 7

一句话总结

本文提出 Co-sampling，一种在无需估计噪声转移矩阵的情况下，针对极噪声标签的深度网络鲁棒训练范式。该方法同时训练两个网络，每个网络从对方网络中选择低损失样本并进行交叉训练，从而在模拟的噪声数据集上实现最先进性能。

ABSTRACT

Training robust deep networks is challenging under noisy labels. Current methodologies focus on estimating the noise transition matrix. However, this matrix is not easy to be estimated exactly. In this paper, free of the matrix estimation, we present a simple but robust learning paradigm called Co-sampling, which can train deep networks robustly under extremely noisy labels. Briefly, our paradigm trains two networks simultaneously. In each mini-batch data, each network samples its small-loss instances, and cross-trains on such instances from its peer network. We conduct experiments on several simulated noisy datasets. Empirical results demonstrate that, under extremely noisy labels, the Co-sampling approach trains deep learning models robustly.

研究动机与目标

• 解决在标签噪声严重且普遍存在的极端噪声监督下训练深度网络的挑战。
• 消除对准确噪声转移矩阵估计的依赖，后者在实际中往往不可行。
• 开发一种简单而有效的训练范式，提升对标签噪声的鲁棒性，而无需复杂的噪声建模。
• 在训练数据包含大量误标样本时，提高深度网络的泛化能力和准确性。

提出的方法

• 使用相同的小批量数据并行训练两个深度神经网络。
• 对每个网络，在前向传播过程中识别并选择损失值最低的样本实例。
• 将一个网络选出的低损失样本作为另一个网络的训练目标。
• 通过更新每个网络在自身选定样本上对另一网络预测和损失的交叉训练，实现交叉训练。
• 通过仅依赖每个网络内部的损失排序关系，避免估计噪声转移矩阵。
• 通过在对方模型中选择的清洁样本上进行相互知识蒸馏，迭代优化两个网络。

实验结果

研究问题

• RQ1 是否存在一种训练范式，可在不估计噪声转移矩阵的情况下，实现极端高标签噪声下的鲁棒性能？
• RQ2 在噪声环境下，对来自对端网络的低损失样本进行交叉训练，如何提升泛化能力？
• RQ3 在极端标签噪声下，Co-sampling 方法是否优于依赖噪声矩阵估计的现有方法？
• RQ4 相互采样机制是否能稳定训练过程并降低对噪声标签的敏感性？

主要发现

• Co-sampling 在具有极高标签噪声率的模拟噪声数据集上实现了最先进性能。
• 与依赖噪声转移矩阵估计的基线方法相比，该方法显著提升了测试准确率。
• 即使噪声转移矩阵未知或估计不准确，该方法依然表现出强鲁棒性。
• 实证结果表明，该方法在多种模拟噪声数据分布和网络架构上均表现出一致的性能提升。