[论文解读] How does Disagreement Help Generalization against Label Corruption?
Co-teaching+ 通过使用 Update by Disagreement 策略来保持两个网络的发散，并在对小损失不一致的数据上进行跨更新，从而提高对带噪声标签的鲁棒性。
Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach "Co-teaching" that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the "Update by Disagreement" strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.
研究动机与目标
- 在深度网络中推动在带噪声标签下的鲁棒学习。
- 通过对小损失样本的筛选利用记忆效应来识别干净数据。
- 维持两个网络之间的发散以防止过早达成共识。
- 将不一致更新与跨参数更新相结合以增强鲁棒性。
提出的方法
- 并行训练两个深度网络。
- 在每个小批量上计算预测不一致性，仅保留不一致的数据。
- 每个网络从不一致数据中选择自己的小损失子集。
- 每个网络使用对等网络的小损失数据进行参数更新（跨更新）。
- 在训练过程中调整小损失数据比率 lambda(e) 以控制数据保留。
- 在整个训练过程中迭代重复不一致更新与跨更新。
实验结果
研究问题
- RQ1维持两网络之间的不一致性是否能防止收敛到单一共识并提升对标签噪声的鲁棒性？
- RQ2将基于不一致性的更新与小损失数据筛选结合，是否在不同数据集上比 Co-teaching 和 MentorNet 有更好表现？
- RQ3数据筛选比率 lambda(e) 应如何演变以在干净数据学习和噪声避免之间取得平衡？
主要发现
- Co-teaching+ 在模拟噪声数据集（MNIST、CIFAR-10、CIFAR-100、NEWS、T-ImageNet）上始终优于 Co-teaching、MentorNet 和 F-correction。
- 不一致性维持有助于保持网络的发散，使鲁棒学习在整个训练过程中得以持续。
- 鲁棒性的三大关键因素：小损失技巧、跨更新，以及网络之间持续的发散。
- 开放集与真实世界的噪声设置下，Co-teaching+ 的准确率高于基线方法。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。