[论文解读] Instance Correction for Learning with Open-set Noisy Labels

Xiaobo Xia, Tongliang Liu+5 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning and Data Classification参考文献 49被引用 7

一句话总结

本文提出通过有针对性的对抗攻击进行实例修正，以重用开放集噪声标签学习中被丢弃的数据，其中标签位于已知类别空间之外。通过修正非鲁棒特征而保留鲁棒特征，该方法提升了泛化能力，在WebVision和合成数据集上实现了最先进性能，相较于S2E提升0.70%，相较于MentorNet提升0.23%。

ABSTRACT

The problem of open-set noisy labels denotes that part of training data have a different label space that does not contain the true class. Lots of approaches, e.g., loss correction and label correction, cannot handle such open-set noisy labels well, since they need training data and test data to share the same label space, which does not hold for learning with open-set noisy labels. The state-of-the-art methods thus employ the sample selection approach to handle open-set noisy labels, which tries to select clean data from noisy data for network parameters updates. The discarded data are seen to be mislabeled and do not participate in training. Such an approach is intuitive and reasonable at first glance. However, a natural question could be raised "can such data only be discarded during training?". In this paper, we show that the answer is no. Specifically, we discuss that the instances of discarded data could consist of some meaningful information for generalization. For this reason, we do not abandon such data, but use instance correction to modify the instances of the discarded data, which makes the predictions for the discarded data consistent with given labels. Instance correction are performed by targeted adversarial attacks. The corrected data are then exploited for training to help generalization. In addition to the analytical results, a series of empirical evidences are provided to justify our claims.

研究动机与目标

• 为解决现有方法在处理开放集噪声标签时的局限性，即真实类别标签未知且不在训练标签空间中。
• 挑战被丢弃的误标数据中不包含任何有助于泛化的有用信息这一假设。
• 提出一种新方法，对被丢弃数据的实例进行修正，而非将其完全丢弃。
• 通过在训练中利用干净数据和修正后数据，提升模型的鲁棒性和性能。

提出的方法

• 该方法首先应用样本选择来识别干净样本和误标样本（例如，将‘狼’错误标注为‘狗’）。
• 对于误标样本，使用有针对性的对抗攻击修改非鲁棒特征，使其与给定的（错误的）标签匹配，同时保留鲁棒特征。
• 然后将修正后的实例用于训练，由给定标签提供监督信号，使模型能够从此前被丢弃的数据中学习。
• 该方法利用了鲁棒特征与非鲁棒特征之间的区别，其中非鲁棒特征更易于受到对抗性扰动的影响。
• 超参数λ控制训练过程中干净数据与修正数据之间的权衡。
• 该方法在Type I和Type II开放集噪声设置下均进行了评估，显示出数据效用的差异性表现。

实验结果

研究问题

• RQ1 在开放集噪声标签学习中，被丢弃的数据是否仍包含有助于模型泛化的有用信息？
• RQ2 是否可能在不依赖真实类别标签的情况下，修正开放集噪声标签场景中的误标实例？
• RQ3 鲁棒特征与非鲁棒特征如何影响对抗性实例修正的有效性？
• RQ4 实例修正是否优于传统样本选择或直接重用数据的方法？
• RQ5 在不同噪声生成机制（Type I与Type II）下，被丢弃数据的效用如何变化？

主要发现

• 在WebVision数据集上，所提出的S-InsCorr方法实现了57.75%的top-1验证准确率，相较于S2E的57.05%提升了0.70%。
• M-InsCorr在相同设置下达到57.89%的准确率，相较于MentorNet提升了0.23%。
• 在Type I开放集噪声下，随着λ增大，测试准确率下降，表明原始被丢弃数据会损害泛化能力，需在重用前进行修正。
• 在Type II开放集噪声下，测试准确率并未随λ单调下降，表明当被正确修正时，被丢弃数据可产生积极贡献。
• 消融实验证实，实例修正能有效利用误标数据中的有意义特征，尤其是鲁棒特征，从而提升模型泛化能力。
• 实证结果验证了对抗性实例修正能保留有用特征，并在多种开放集噪声设置下提升模型性能。