[论文解读] Contrastive Learning with Adversarial Examples

Chih-Hui Ho, Nuno Vasconcelos|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用 54

一句话总结

Introduces CLAE，一种使用对抗性增强来在自监督学习（SSL）的对比学习中创建更难的正负对样本的方法，在多个基线和数据集上提升下游分类性能。

ABSTRACT

Contrastive learning (CL) is a popular technique for self-supervised learning (SSL) of visual representations. It uses pairs of augmentations of unlabeled training examples to define a classification task for pretext learning of a deep embedding. Despite extensive works in augmentation procedures, prior works do not address the selection of challenging negative pairs, as images within a sampled batch are treated independently. This paper addresses the problem, by introducing a new family of adversarial examples for constrastive learning and using these examples to define a new adversarial training algorithm for SSL, denoted as CLAE. When compared to standard CL, the use of adversarial examples creates more challenging positive pairs and adversarial training produces harder negative pairs by accounting for all images in a batch during the optimization. CLAE is compatible with many CL methods in the literature. Experiments show that it improves the performance of several existing CL baselines on multiple datasets.

研究动机与目标

• 在对比自监督学习（SSL）中需要更困难的负样本/正样本对的动机。
• 提出一个对抗性增强框架，用于生成对比学习（CL）中的具有挑战性的样本对。
• 开发 CLAE，一种在 SSL 中将对抗性扰动的正样本与标准负样本结合的训练算法。
• 证明 CLAE 能在多个 CL 基线和数据集上提升下游分类性能。

提出的方法

• 定义对抗性增强，通过以批量感知的方式扰动增强来最大化对比损失。
• 用对抗扰动的正样本增强替代常规正样本增强，这些增强是相对于交叉熵损失优化的。
• 采用受 AdvProp 启发的双分支方案进行训练，为干净样本和对抗样本设置单独的批归一化，并通过超参数 alpha 来平衡损失。
• 通过对增强输入进行 FGSM 型更新来计算对抗扰动，传播通过整个批次以覆盖所有实例。
• 将 CLAE 与现有的 CL 损失（Plain、UEL、SimCLR）整合，并展示与各种 CL 框架的兼容性。

实验结果

研究问题

• RQ1 能够同时优化正样本和负样本对的对抗性增强是否能够改善对比自监督学习的表示？
• RQ2 在 CL 中的对抗训练（CLA E）是否在跨数据集上产生比标准 CL 基线更好的下游分类器？
• RQ3 批量感知的对抗扰动与传统方法相比，如何影响 SSL 中的困难负样本挖掘？
• RQ4 CLAE 是否对不同的攻击方法和网络架构具有鲁棒性，同时在各数据集上仍有益处？

主要发现

• 对抗性增强比随机扰动能引出更大的对比损失和下游交叉熵损失，使训练样本对更具挑战性。
• CLA E 提升了在 CIFAR-10、CIFAR-100 和 tinyImageNet 上所有测试的 CL 基线在 kNN 和 LR 分类器上的下游分类准确度。
• 对抗性训练在 epsilon 值约 0.03–0.07 时带来增益，即使在较小的批次和更强的架构下也能看到改进。
• 采用 AdvProp 风格的双 Batch Normalization，CLAE 维持稳定的性能，并在多种攻击方法（FGSM、R-FGSM、F-FGSM、PGD）下观察到收益。
• 更长的预文本训练和更大的架构使 CLAE 的收益相对于基线 CL 方法更显著，表明对困难的训练样本对的利用更充分。