[论文解读] On Learning Contrastive Representations for Learning with Noisy Labels

Yi Li, Sheng Liu+3 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出对比表示正则化（CTRR），一种新颖的对比正则化方法，通过丢弃与损坏标签相关的信息来学习鲁棒表示，使分类器对噪声标签的记忆具有抵抗力。理论上，CTRR 确保表示保留真实标签信息，并对标签噪声具有内在鲁棒性，在 CIFAR-10 上使用高达 80% 的标签噪声时，其性能优于标准交叉熵训练和现有噪声鲁棒方法。

ABSTRACT

Deep neural networks are able to memorize noisy labels easily with a softmax cross-entropy (CE) loss. Previous studies attempted to address this issue focus on incorporating a noise-robust loss function to the CE loss. However, the memorization issue is alleviated but still remains due to the non-robust CE loss. To address this issue, we focus on learning robust contrastive representations of data on which the classifier is hard to memorize the label noise under the CE loss. We propose a novel contrastive regularization function to learn such representations over noisy data where label noise does not dominate the representation learning. By theoretically investigating the representations induced by the proposed regularization function, we reveal that the learned representations keep information related to true labels and discard information related to corrupted labels. Moreover, our theoretical results also indicate that the learned representations are robust to the label noise. The effectiveness of this method is demonstrated with experiments on benchmark datasets.

研究动机与目标

• 解决使用交叉熵损失训练的深度神经网络中持续存在的噪声标签记忆问题。
• 克服现有噪声鲁棒损失函数的局限性，这些函数仍因依赖非鲁棒交叉熵而遭受记忆影响。
• 通过聚焦于真实标签结构，开发一种对标签噪声具有内在鲁棒性的表示学习方法。
• 从理论上和实证上证明，对比表示可在训练过程中抑制损坏标签的影响。
• 实现与现有标签修正和噪声鲁棒损失方法的兼容性，以进一步提升性能。

提出的方法

• 提出一种新颖的对比正则化函数，避免依赖噪声标签来定义正样本对。
• 使用基于动量的预测头，以鼓励视图增强之间的一致表示，类似于 SimSiam。
• 设计正则化方法，显式抑制与损坏标签相关的特征，同时保留与真实标签相关的信息。
• 理论分析表明，所诱导的表示具有鲁棒性，因为其缺乏关于噪声标签的充分信息。
• 梯度分析证实，即使在高噪声水平下，正确的对比对仍主导学习过程。
• 该方法与框架无关，可集成到各种对比学习架构中，包括 SimSiam 和 SupCon。

实验结果

研究问题

• RQ1 能否通过在定义正样本对时避免依赖噪声标签，使对比表示学习对标签噪声具有鲁棒性？
• RQ2 所提出的正则化函数是否能在学习到的表示中保留真实标签信息，同时丢弃损坏标签信息？
• RQ3 所得到的表示是否能使分类器对记忆噪声标签具有内在抵抗力？
• RQ4 在不同水平的标签噪声下，CTRR 的性能与标准交叉熵和其他噪声鲁棒损失函数相比如何？
• RQ5 CTRR 与现有标签修正或噪声鲁棒损失技术结合使用时，能在多大程度上进一步提升准确率？

主要发现

• 在 CIFAR-10 上使用 80% 的标签噪声时，CTRR 与标签修正结合可达到 85.40% 的准确率，优于无标签修正的基线方法（83.66%）。
• 在 60% 的标签噪声下，CTRR 与标签修正结合可达到 89.23% 的准确率，高于基线方法的 87.34%。
• 在 CIFAR-10 上使用 20% 和 40% 的噪声时，CTRR 方法达到最先进性能，准确率超过现有方法（如 GCE 和 CTRR+GCE）。
• 理论分析证实，CTRR 所诱导的表示包含真实标签的信息，但缺乏关于损坏标签的充分信息，因此具有鲁棒性。
• 实证结果表明，CTRR 可有效与现有标签修正和噪声鲁棒损失函数（如 GCE 和 CTRR+GCE）结合，进一步提升性能。
• 梯度分析表明，正确的对比对主导学习过程，防止错误的对比对主导表示学习。