[论文解读] Investigating Why Contrastive Learning Benefits Robustness Against Label Noise

Yihao Xue, Kyle Whitecross+1 more|arXiv (Cornell University)|Jan 29, 2022

Machine Learning and Data Classification被引用 10

一句话总结

本文从理论上解释了对比学习为何能提升对标签噪声的鲁棒性，通过证明其生成的表征具有低秩结构：每个子类别具有显著的奇异值，且奇异向量与干净标签高度对齐。这使得线性分类器能够学习干净标签而不记忆噪声，且预训练网络的雅可比矩阵呈现低秩特性，从而延迟过拟合，进而在极端噪声水平下实现最先进性能，例如在 CIFAR-10 和 CIFAR-100 上分别实现 27.18% 和 15.58% 的准确率提升，噪声比例达 80%。

ABSTRACT

Self-supervised Contrastive Learning (CL) has been recently shown to be very effective in preventing deep networks from overfitting noisy labels. Despite its empirical success, the theoretical understanding of the effect of contrastive learning on boosting robustness is very limited. In this work, we rigorously prove that the representation matrix learned by contrastive learning boosts robustness, by having: (i) one prominent singular value corresponding to each sub-class in the data, and significantly smaller remaining singular values; and (ii) {a large alignment between the prominent singular vectors and the clean labels of each sub-class. The above properties enable a linear layer trained on such representations to effectively learn the clean labels without overfitting the noise.} We further show that the low-rank structure of the Jacobian of deep networks pre-trained with contrastive learning allows them to achieve a superior performance initially, when fine-tuned on noisy labels. Finally, we demonstrate that the initial robustness provided by contrastive learning enables robust training methods to achieve state-of-the-art performance under extreme noise levels, e.g., an average of 27.18\% and 15.58\% increase in accuracy on CIFAR-10 and CIFAR-100 with 80\% symmetric noisy labels, and 4.11\% increase in accuracy on WebVision.

研究动机与目标

• 从理论上理解对比学习为何能增强深度网络对标签噪声的鲁棒性。
• 刻画对比学习所学习表征的结构特性，这些特性有助于提升鲁棒性。
• 分析对比学习预训练网络中雅可比矩阵的低秩结构如何在微调阶段延迟过拟合。
• 证明对比学习预训练可使下游鲁棒训练方法在极端噪声水平下实现最先进性能。
• 建立表征对齐、奇异值结构与标签噪声下泛化能力之间的理论联系。

提出的方法

• 对对比学习所得表征矩阵进行理论分析，证明其在每个子类别上具有一个主导奇异值，其余奇异值显著较小。
• 证明主导奇异向量与各子类的真实标签高度对齐，从而实现对干净标签的有效学习。
• 分析在噪声标签下对这些表征训练线性模型的表现，表明标签污染影响极小，且对错误标签的记忆程度很低。
• 通过理论推导表明，对比学习预训练网络的雅可比矩阵中，主导奇异值与较小奇异值之间的差距大于随机初始化网络，从而延缓过拟合。
• 在 CIFAR-10、CIFAR-100 和 WebVision 上进行实证验证，采用对称与非对称标签噪声，测量极端噪声条件下的准确率增益。
• 比较冻结与未冻结编码器的微调策略，以评估过拟合动态与鲁棒性。

实验结果

研究问题

• RQ1 尽管理论理解尚不充分，为何对比学习能提升对标签噪声的鲁棒性？
• RQ2 对比学习所得表征矩阵的何种结构特性使其具备鲁棒泛化能力？
• RQ3 奇异向量与干净标签之间的对齐如何影响在噪声监督下的学习？
• RQ4 为何对比学习预训练能延迟在噪声标签上微调时的过拟合？
• RQ5 能否通过下游鲁棒训练方法利用对比学习带来的初始鲁棒性，在极端噪声下实现最先进性能？

主要发现

• 对比学习生成的表征矩阵在每个子类别上具有一个显著的奇异值，其余奇异值显著较小，从而支持鲁棒学习。
• 表征矩阵的主导奇异向量与各子类的干净标签高度对齐，有效减少对噪声标签的记忆。
• 在对比学习表征上训练的线性模型在标签噪声下表现出极小的性能下降，因为噪声对学习干净标签的影响微乎其微。
• 对比学习预训练网络的雅可比矩阵中，主导奇异值与较小奇异值之间的差距大于随机初始化网络，从而在微调阶段延缓过拟合。
• 在 CIFAR-10 和 CIFAR-100 上，当对称标签噪声比例达 80% 时，该方法相比基线方法分别实现平均 27.18% 和 15.58% 的准确率提升。
• 在包含真实世界噪声标签的 WebVision 数据集上，该方法实现 4.11% 的准确率增益，证明其在极端噪声下具有最先进性能。