[论文解读] Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning

Hao He, Kaiwen Zha+1 more|arXiv (Cornell University)|Feb 22, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出对比中毒攻击（Contrastive Poisoning, CP），这是首个针对无监督对比学习（CL）的有效无差别数据中毒攻击。通过利用对比损失、数据增强以及动量编码器动态特性，CP 显著降低 CL 性能，并可泛化至攻击监督学习，揭示了 CL 相对较强的鲁棒性，以及基于矩阵补全的增强方法等新型防御的必要性。

ABSTRACT

Indiscriminate data poisoning attacks are quite effective against supervised learning. However, not much is known about their impact on unsupervised contrastive learning (CL). This paper is the first to consider indiscriminate poisoning attacks of contrastive learning. We propose Contrastive Poisoning (CP), the first effective such attack on CL. We empirically show that Contrastive Poisoning, not only drastically reduces the performance of CL algorithms, but also attacks supervised learning models, making it the most generalizable indiscriminate poisoning attack. We also show that CL algorithms with a momentum encoder are more robust to indiscriminate poisoning, and propose a new countermeasure based on matrix completion. Code is available at: https://github.com/kaiwenzha/contrastive-poisoning.

研究动机与目标

• 研究无监督对比学习（CL）对无差别数据中毒攻击的脆弱性。
• 开发一种对 CL 有效的新型中毒方法，该方法可突破先前针对监督学习攻击的局限性。
• 评估使用动量编码器的 CL 模型的鲁棒性，并识别其相对于标准 CL 的优势。
• 评估现有防御措施对中毒攻击的应对能力，并提出一种基于矩阵补全的新型、更有效的防御机制。

提出的方法

• 设计一种直接针对对比学习目标（特别是 InfoNCE 损失）的中毒生成过程，以误导表示学习。
• 引入一种区分程序，考虑 CL 中的数据增强，确保中毒在不同增强视图下均有效。
• 实施一种双分支梯度传播方案，以有效对具有动量编码器的 CL 模型（如 MoCo、BYOL）实施中毒。
• 使用动量编码器生成中毒样本，以提升在不同 CL 架构间的迁移能力。
• 使用标准数据增强（随机噪声、高斯平滑、Cutout）评估防御效果，并提出一种基于矩阵补全的新增强方法。
• 采用通用奇异值阈值化（USVT）进行矩阵补全，以重建中毒数据中缺失的像素。

实验结果

研究问题

• RQ1 在监督学习中有效的无差别中毒攻击，能否成功降低无监督对比学习模型的性能？
• RQ2 CL 中哪些关键的架构与训练差异使其对无差别中毒攻击的鲁棒性高于监督学习？
• RQ3 在 CL 中使用动量编码器如何影响模型对中毒攻击的脆弱性？
• RQ4 为某一 CL 模型生成的单一中毒样本，是否能有效攻击其他 CL 模型甚至监督学习模型？
• RQ5 基于矩阵补全的数据增强是否比标准增强方法在防御对比中毒方面更有效？

主要发现

• 对比学习模型（SimCLR、MoCo、BYOL）对先前针对监督学习设计的无差别中毒攻击表现出高度鲁棒性，即使在强中毒攻击下仍保持高准确率。
• 对比中毒攻击（CP）在 SimCLR 上造成 44.9% 的测试准确率下降，在 MoCo 上分别造成 68.9% 的下降（分别对应 CP(S) 和 CP(C) 攻击），证明了其有效性。
• 使用动量编码器的模型（如 MoCo、BYOL）显著优于未使用动量编码器的模型（如 SimCLR），CP 在这些模型上造成的性能下降更低。
• 基于矩阵补全的防御在各类攻击下平均准确率达到 86.9%，优于对抗训练（80.8%）及其他增强方法。
• 对抗训练虽在监督学习中毒攻击中有效，却无法防御 CP 攻击，凸显了 CL 领域亟需新型防御策略。
• 按类别生成的中毒样本比按样本生成的中毒样本更具抗数据增强防御能力，后者对这类防御极为敏感。