[论文解读] Data Poisoning Attacks Against Multimodal Encoders

Ziqing Yang, Xinlei He+5 more|arXiv (Cornell University)|Sep 30, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文首次对多模态编码器的后门数据投毒攻击进行了全面研究，同时针对视觉和语言模态发起攻击。提出三种攻击类型，成功率达高——例如在Flickr-PASCAL数据集上，将'text'的'sheep'错误映射到'airplane'图像的top-5准确率达到91.8%——同时保持模型性能。此外，提出新颖的预训练和微调后防御机制，能有效缓解攻击，且性能下降极小。

ABSTRACT

Recently, the newly emerged multimodal models, which leverage both visual and linguistic modalities to train powerful encoders, have gained increasing attention. However, learning from a large-scale unlabeled dataset also exposes the model to the risk of potential poisoning attacks, whereby the adversary aims to perturb the model's training data to trigger malicious behaviors in it. In contrast to previous work, only poisoning visual modality, in this work, we take the first step to studying poisoning attacks against multimodal models in both visual and linguistic modalities. Specially, we focus on answering two questions: (1) Is the linguistic modality also vulnerable to poisoning attacks? and (2) Which modality is most vulnerable? To answer the two questions, we propose three types of poisoning attacks against multimodal models. Extensive evaluations on different datasets and model architectures show that all three attacks can achieve significant attack performance while maintaining model utility in both visual and linguistic modalities. Furthermore, we observe that the poisoning effect differs between different modalities. To mitigate the attacks, we propose both pre-training and post-training defenses. We empirically show that both defenses can significantly reduce the attack performance while preserving the model's utility.

研究动机与目标

• 探究多模态模型中的语言模态是否同样易受数据投毒攻击的影响。
• 比较视觉与语言模态在投毒攻击下的相对脆弱性。
• 开发针对多模态学习系统中投毒攻击的有效防御方法。
• 在多种数据集和模型架构上评估攻击与防御的性能表现。
• 证明投毒攻击对视觉与语言编码器的影响在性能指标上存在差异。

提出的方法

• 提出三种针对对比学习型多模态模型中视觉与语言编码器的投毒攻击类型。
• 设计攻击方法，将投毒样本注入训练数据，使文本与图像嵌入向目标类别错位对齐。
• 采用双分支对比学习框架，联合训练文本与图像编码器，基于配对数据进行学习。
• 通过在干净数据上重新训练模型，实现预训练防御，以破坏模态间的投毒对齐。
• 通过在干净数据上进行微调，并选择合适的初始学习率，实施微调后防御，以消除攻击引入的偏差。
• 使用Hit@K、MinRank以及检索任务的准确率等指标，评估攻击成功率，涵盖Flickr-PASCAL与COCO等数据集。

实验结果

研究问题

• RQ1 语言模态是否和视觉模态一样，易受多模态模型中数据投毒攻击的影响？
• RQ2 在攻击成功率与影响程度方面，视觉模态与语言模态中哪一个更易受投毒攻击？
• RQ3 投毒攻击如何以不同方式影响视觉与语言编码器的性能？
• RQ4 预训练与微调后防御是否能有效缓解投毒攻击，同时不降低模型性能？
• RQ5 哪些超参数（如学习率、微调轮数）对防御效果影响最大？

主要发现

• 所提出的投毒攻击在Flickr-PASCAL数据集上，将'sheep'文本映射至'airplane'图像的top-5检索准确率达到0.918。
• 投毒视觉模态显著改善MinRank（如攻击II中为2.192），表明与目标图像的对齐效果更好。
• 投毒语言模态导致Hit@1与Hit@5得分更高（如0.280与0.864），表明存在更强的即时检索偏差。
• 微调后防御在使用10^-5学习率时，将Hit@10性能从0.936降至0.008，证明其具有强大缓解效果。
• 预训练防御能有效破坏模态间的投毒对齐，在微调前即显著降低攻击成功率。
• 仅需一次微调轮次，防御即有效；性能在前50个批次内急剧下降（Hit@10从0.936降至0.032）。