[论文解读] Is Self-Supervised Learning More Robust Than Supervised Learning?

Yuanyi Zhong, Haoran Tang+3 more|arXiv (Cornell University)|Jun 10, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文研究了在各种数据分布退化条件下，自监督对比学习（CL）是否比监督学习（SL）更具鲁棒性。通过在多个模型和数据集上施加多层次退化——从像素级的伽马失真到数据集级别的分布偏移——作者发现，CL在下游数据退化下始终表现出更强的鲁棒性，但在预训练数据退化（如图像块洗牌和亮度变化）下反而不如SL鲁棒。关键洞见是，CL保持了更高的特征均匀性和稳定性，这与下游鲁棒性的提升相关，因此提出了一种均匀性正则化方法，可在不损失准确率的前提下增强SL的鲁棒性。

ABSTRACT

Self-supervised contrastive learning is a powerful tool to learn visual representation without labels. Prior work has primarily focused on evaluating the recognition accuracy of various pre-training algorithms, but has overlooked other behavioral aspects. In addition to accuracy, distributional robustness plays a critical role in the reliability of machine learning models. We design and conduct a series of robustness tests to quantify the behavioral differences between contrastive learning and supervised learning to downstream or pre-training data distribution changes. These tests leverage data corruptions at multiple levels, ranging from pixel-level gamma distortion to patch-level shuffling and to dataset-level distribution shift. Our tests unveil intriguing robustness behaviors of contrastive and supervised learning. On the one hand, under downstream corruptions, we generally observe that contrastive learning is surprisingly more robust than supervised learning. On the other hand, under pre-training corruptions, we find contrastive learning vulnerable to patch shuffling and pixel intensity change, yet less sensitive to dataset-level distribution change. We attempt to explain these results through the role of data augmentation and feature space properties. Our insight has implications in improving the downstream robustness of supervised learning.

研究动机与目标

• 评估自监督对比学习（CL）与监督学习（SL）在准确率之外的鲁棒性，重点关注在数据分布偏移下的行为差异。
• 探究CL在准确率上的优越表现是否与其对现实世界数据退化（包括像素级、图像块级和数据集级失真）的更强鲁棒性相匹配。
• 分析数据增强和特征空间特性在解释CL与SL之间观察到的鲁棒性差异中的作用。
• 开发并验证一种均匀性正则化技术，通过模仿CL的特征空间特性，提升监督预训练的下游鲁棒性。
• 为模型设计与训练提供关于CL与SL在预训练与下游退化场景下行为差异的实证洞察。

提出的方法

• 使用一系列数据退化类型进行全面的鲁棒性评估：像素级伽马失真、图像块级洗牌，以及数据集级分布偏移（如类别不平衡、GAN生成数据）。
• 应用多种CL算法（SimCLR、MoCo、SimSiam、BYOL、BarlowTwins、SwAV、DINO）和监督学习方法，涵盖多种主干网络（ResNet、ViT）和数据集（CIFAR、ImageNet、STL-10、Cars、Aircrafts）。
• 通过类内特征均匀性和类间距离度量来测量特征空间动态变化，以分析训练过程中的学习行为差异。
• 在监督预训练中引入一种均匀性正则化项，以促进更高的类内特征方差，其灵感来源于CL中稳定且均匀的特征分布。
• 重新排列数据退化与数据增强步骤，以检验干扰随机裁剪增强是导致CL对图像块级退化敏感的关键原因这一假设。
• 使用KNN探测器进行评估，并通过不同退化下的准确率下降量（Δ）量化CL与SL之间的鲁棒性差异。

实验结果

研究问题

• RQ1 自监督对比学习是否比监督学习对下游数据退化（如像素级失真和图像块洗牌）更具鲁棒性？
• RQ2 预训练数据退化（如图像块洗牌、亮度变化）如何影响对比学习与监督学习模型的鲁棒性？
• RQ3 对比学习中特征空间的均匀性与稳定性是否能解释其相比监督学习在下游任务中表现出更优鲁棒性的原因？
• RQ4 在监督学习中引入均匀性正则化是否能提升其对测试时数据退化的鲁棒性，同时不损害干净数据上的准确率？
• RQ5 在预训练退化场景下，特别是图像块洗牌时，数据增强顺序在对比学习鲁棒性中扮演什么角色？

主要发现

• 对比学习在所有测试的退化类型和数据集上，对下游数据退化均表现出更强的鲁棒性，准确率下降（Δ）显著低于监督学习。
• 在预训练阶段的退化中，对比学习对数据集级分布偏移（如GAN生成数据、类别不平衡）更具鲁棒性，表现出比监督学习更低的准确率下降。
• 然而，对比学习在像素级亮度变化和图像块级洗牌等预训练退化下，反而不如监督学习鲁棒，表明其鲁棒性行为在不同退化层级上存在根本性差异。
• 特征空间分析显示，对比学习维持了更高且持续增长的类内特征均匀性，且类内特征方差压缩程度更低，而监督学习则倾向于过度压缩特征。
• 在监督预训练中引入均匀性正则化项后，特征空间均匀性得到提升，下游鲁棒性也显著改善，在退化数据上实现了更高的KNN准确率（如在G4x4退化下达到44.34%），同时保持了较高的干净数据准确率（94.21%）。
• 重新排列数据退化与数据增强步骤能显著恢复对比学习的鲁棒性，支持了‘干扰随机裁剪增强是导致其对图像块级退化敏感的关键原因’的假设。