[论文解读] How Does Disagreement Benefit Co-teaching?

Xingrui Yu, Bo Han+4 more|arXiv (Cornell University)|Jan 14, 2019

Machine Learning and Data Classification被引用 23

一句话总结

Co-teaching+ 提出了一种新颖的协同教学框架，通过仅在两网络预测不一致的样本上使用对方网络的小损失样本更新各自网络，从而增强对噪声标签的鲁棒性。这种基于不一致性的更新机制可防止过早收敛，并在基准数据集上显著优于当前最先进方法。

ABSTRACT

Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the Update by Disagreement strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.

研究动机与目标

• 为解决Co-teaching的局限性，即网络收敛至共识并退化为自训练，从而降低鲁棒性。
• 通过在训练过程中保持两个学生网络之间的多样性，提升在噪声标签设置下的泛化能力。
• 开发一种训练范式，利用网络间的不一致性来引导鲁棒学习，而无需依赖干净标签先验。
• 通过仅聚焦于不一致样本，提升小损失训练策略的有效性，从而避免对噪声标签的过度记忆。

提出的方法

• 该框架以协同教学方式训练两个深度神经网络，但仅在两网络对预测结果不一致的样本上更新每个网络。
• 在不一致样本中，每个网络选择自身预测的低损失样本作为训练目标。
• 关键在于，每个网络在其同伴网络对同一不一致样本的预测结果上反向传播损失，从而实现交叉更新。
• 这种同伴损失反向传播机制确保每个网络能从其伙伴更可靠的预测中学习，即使双方均存在噪声。
• 该方法避免在共识预测上进行更新，从而防止收敛至共享的、可能错误的预测。
• 训练过程动态维持网络间的不一致性，保持多样性并减少对噪声标签的记忆。

实验结果

研究问题

• RQ1 在协同教学中，保持两个网络之间的预测不一致性如何影响对噪声标签的鲁棒性？
• RQ2 同伴网络的小损失更新能否在标准协同教学与自训练基线之外提升泛化能力？
• RQ3 仅将训练更新聚焦于不一致样本，是否能防止过早收敛并提升模型鲁棒性？
• RQ4 Co-teaching+ 在处理标准基准数据集上的高噪声率时，与最先进方法相比表现如何？

主要发现

• Co-teaching+ 在对噪声标签的鲁棒性方面显著优于标准Co-teaching和自训练基线。
• 在各种噪声设置下，该方法在基准数据集上超越了多个最先进方法。
• 通过仅在不一致样本上进行更新，Co-teaching+ 避免了随时间推移导致Co-teaching性能下降的共识收敛问题。
• 使用同伴网络的小损失目标显著提升了学习效率与泛化能力，即使两个网络均在噪声数据上进行训练。
• 实证结果证实，基于不一致性的更新机制能有效减少对噪声标签的记忆。
• 该框架在不同噪声率和数据集类型下均保持性能优势，展现出强大的泛化能力。