[论文解读] Robust Contrastive Learning Using Negative Samples with Diminished Semantics

Songwei Ge, Shlok Mishra+3 more|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 24

一句话总结

本文提出了一种新颖的对比学习框架，通过生成仅保留非语义特征（如纹理和局部块）的负样本，提升了模型的鲁棒性。通过基于纹理和基于块的增强方法生成此类负样本，该方法减少了对表面特征的依赖，显著改善了分布外（OOD）泛化性能，尤其在细粒度和草图基准上表现突出。

ABSTRACT

Unsupervised learning has recently made exceptional progress because of the development of more effective contrastive learning methods. However, CNNs are prone to depend on low-level features that humans deem non-semantic. This dependency has been conjectured to induce a lack of robustness to image perturbations or domain shift. In this paper, we show that by generating carefully designed negative samples, contrastive learning can learn more robust representations with less dependence on such features. Contrastive learning utilizes positive pairs that preserve semantic information while perturbing superficial features in the training images. Similarly, we propose to generate negative samples in a reversed way, where only the superfluous instead of the semantic features are preserved. We develop two methods, texture-based and patch-based augmentations, to generate negative samples. These samples achieve better generalization, especially under out-of-domain settings. We also analyze our method and the generated texture-based samples, showing that texture features are indispensable in classifying particular ImageNet classes and especially finer classes. We also show that model bias favors texture and shape features differently under different test settings. Our code, trained models, and ImageNet-Texture dataset can be found at https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives.

研究动机与目标

• 解决卷积神经网络（CNNs）过度依赖非语义、表面化特征（如纹理和局部块）的问题，这些特征在分布偏移下会损害模型鲁棒性。
• 探究仅保留非语义特征的负样本是否能正则化对比学习并减少模型对低级模式的偏见。
• 构建一个新的数据集 ImageNet-Texture，以支持对视觉表征学习中形状-纹理偏见的系统性研究。
• 证明通过控制形状与纹理特征之间的权衡，可提升多种下游任务的性能，尤其在细粒度和分布外设置下。

提出的方法

• 使用经典纹理合成方法对从 ImageNet 图像中提取的块进行处理，生成基于纹理的负样本。
• 通过从同一输入图像中随机采样不同尺寸的块并进行拼贴，生成基于块的负样本。
• 将这些非语义负样本整合到标准对比学习框架（如 MoCo 和 BYOL）中，通过最小化输入与负样本之间的表征相似度来优化。
• 通过在查询与非语义负样本之间的相似度上引入可学习惩罚项，控制形状与纹理特征的相对重要性。
• 利用所提出的 ImageNet-Texture 数据集分析纹理与形状特征在不同类别和数据集上的分类性能贡献。
• 将该方法应用于标准对比学习目标（如 MoCo、BYOL），无需修改损失函数，实现即插即用的集成。

实验结果

研究问题

• RQ1 仅保留非语义特征（如纹理、局部块）的负样本是否能提升对比学习表征的鲁棒性？
• RQ2 形状与纹理偏见之间的权衡如何影响模型泛化能力，特别是在分布外设置下？
• RQ3 纹理特征在细粒度图像识别任务中对准确分类的贡献程度如何？
• RQ4 所提出的负样本生成方法是否在泛化能力和鲁棒性方面优于标准负采样策略？
• RQ5 使用非语义负样本是否能降低模型对表面特征的依赖，同时保持或提升分布内准确率？

主要发现

• 所提出的基于纹理和基于块的负样本在 ImageNet-100、ImageNet-1K 和 STL-10 上均实现了泛化性能的一致性提升，尤其在分布外（OOD）设置下表现显著。
• 使用非语义负样本训练的模型对纹理特征的依赖程度降低，从而在强调形状的 ImageNet-Sketch 基准上表现更优。
• 纹理特征在细粒度分类任务（如犬种识别）中尤为重要，表明其作用具有上下文依赖性。
• 该方法可有效控制形状-纹理权衡：增加对非语义负样本的惩罚会促使模型更偏向形状特征，从而在对形状敏感的基准上提升性能。
• ImageNet-Texture 数据集揭示，对某些类别（如洗碗布、铭牌）而言，纹理比形状更为关键，凸显了类别特定的特征重要性。
• 与标准负样本相比，非语义负样本在对比学习中更具有效性，因其作为更难、更具信息量的负样本，能更好地正则化模型。