[论文解读] Adversarial Attack and Defense in Deep Ranking

Mo Zhou, Le Wang+4 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 6

一句话总结

本文提出两种新型对抗性攻击——候选攻击（Candidate Attack）和查询攻击（Query Attack），通过扰动嵌入来操纵嵌入表示，从而改变深度排序模型的排序顺序。本文还提出一种抗坍缩三元组防御机制，显著提升了模型在多种基准数据集上的鲁棒性，同时在良性数据上保持了良好的性能。

ABSTRACT

Deep Neural Network classifiers are vulnerable to adversarial attack, where an imperceptible perturbation could result in misclassification. However, the vulnerability of DNN-based image ranking systems remains under-explored. In this paper, we propose two attacks against deep ranking systems, i.e., Candidate Attack and Query Attack, that can raise or lower the rank of chosen candidates by adversarial perturbations. Specifically, the expected ranking order is first represented as a set of inequalities, and then a triplet-like objective function is designed to obtain the optimal perturbation. Conversely, an anti-collapse triplet defense is proposed to improve the ranking model robustness against all proposed attacks, where the model learns to prevent the positive and negative samples being pulled close to each other by adversarial attack. To comprehensively measure the empirical adversarial robustness of a ranking model with our defense, we propose an empirical robustness score, which involves a set of representative attacks against ranking models. Our adversarial ranking attacks and defenses are evaluated on MNIST, Fashion-MNIST, CUB200-2011, CARS196 and Stanford Online Products datasets. Experimental results demonstrate that a typical deep ranking system can be effectively compromised by our attacks. Nevertheless, our defense can significantly improve the ranking system robustness, and simultaneously mitigate a wide range of attacks.

研究动机与目标

• 探究深度排序模型在对抗性扰动下的脆弱性，尽管分类任务中已知存在此类风险，但排序任务中的研究仍显不足。
• 设计针对性的对抗性攻击——候选攻击与查询攻击，通过扰动候选图像或查询图像来操纵排序结果。
• 设计一种防御机制，防止对抗训练过程中模型坍缩，并提升对多种攻击类型的鲁棒性。
• 提出一种经验鲁棒性评分，全面评估防御机制在多样化攻击场景下的表现。
• 证明标准对抗训练方法在排序任务中失效，其根本原因在于模型坍缩，因此亟需新的防御策略。

提出的方法

• 将期望的排序顺序表示为一组不等式，以指导对抗性扰动的生成。
• 设计类似三元组的损失函数，优化扰动以使嵌入向目标排序位置移动。
• 使用投影梯度下降（PGD）高效生成满足排序约束的对抗性样本。
• 提出嵌入偏移三元组（EST）防御机制，以抑制攻击引起的嵌入偏移。
• 引入抗坍缩三元组防御机制，在训练过程中防止正样本与负样本在嵌入空间中发生坍缩。
• 通过综合考虑多种攻击类型与数据集的经验鲁棒性评分来评估防御效果。

实验结果

研究问题

• RQ1 通过修改查询图像或候选图像，对抗性扰动能否有效操纵深度排序模型中的排序顺序？
• RQ2 为何标准对抗训练在深度排序模型中会失效？模型坍缩在此情境下的成因是什么？
• RQ3 能否设计一种防御机制，在不降低干净数据性能的前提下，防止对抗攻击引起的嵌入偏移？
• RQ4 所提出的抗坍缩三元组防御机制在多种攻击类型与数据集上是否显著提升了鲁棒性？
• RQ5 经验鲁棒性评分是否能可靠且全面地评估排序系统中防御机制的性能？

主要发现

• 所提出的候选攻击与查询攻击在MNIST、Fashion-MNIST、CUB200-2011、CARS196和Stanford Online Products数据集上均成功操纵了排序结果。
• 标准对抗训练在深度排序模型中会导致模型坍缩，表现为正样本与负样本在嵌入空间中被过度拉近。
• 抗坍缩三元组防御机制显著提升了模型鲁棒性，有效降低了攻击成功率（如CA+与QA-攻击），同时在干净样本上保持了高性能。
• 经验鲁棒性评分能有效捕捉防御机制在多种攻击类型下的表现，揭示更强的攻击能促进更优的防御学习。
• 使用FGSM而非PGD生成对抗数据会导致鲁棒性下降，证实攻击强度直接影响防御效果。
• 抗坍缩三元组防御机制在鲁棒性与泛化能力方面均优于EST防御机制，在所有数据集上均提升了R@1、mAP与NMI指标。