[论文解读] Black-box Targeted Adversarial Attack on Segment Anything (SAM)

Sheng Zheng, Chaoning Zhang+1 more|arXiv (Cornell University)|Oct 16, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

该论文提出了一种针对Segment Anything Model（SAM）的黑盒目标攻击（PATA++），通过仅攻击图像编码器来绕过提示依赖。该方法引入了一种新颖的正则化损失，以增强特征主导性，显著提升了跨模型迁移能力，在黑盒设置下的目标掩码生成任务中实现了最先进（SOTA）性能。

ABSTRACT

Deep recognition models are widely vulnerable to adversarial examples, which change the model output by adding quasi-imperceptible perturbation to the image input. Recently, Segment Anything Model (SAM) has emerged to become a popular foundation model in computer vision due to its impressive generalization to unseen data and tasks. Realizing flexible attacks on SAM is beneficial for understanding the robustness of SAM in the adversarial context. To this end, this work aims to achieve a targeted adversarial attack (TAA) on SAM. Specifically, under a certain prompt, the goal is to make the predicted mask of an adversarial example resemble that of a given target image. The task of TAA on SAM has been realized in a recent arXiv work in the white-box setup by assuming access to prompt and model, which is thus less practical. To address the issue of prompt dependence, we propose a simple yet effective approach by only attacking the image encoder. Moreover, we propose a novel regularization loss to enhance the cross-model transferability by increasing the feature dominance of adversarial images over random natural images. Extensive experiments verify the effectiveness of our proposed simple techniques to conduct a successful black-box TAA on SAM.

研究动机与目标

• 研究在无模型权重或提示访问权限的实际黑盒设置下，Segment Anything Model（SAM）的对抗鲁棒性。
• 通过消除对特定提示类型依赖，克服端到端攻击中跨提示类型的迁移性挑战。
• 通过增强对抗图像相对于自然图像的相对特征强度，提升对抗样本的跨模型迁移能力。
• 开发一种无需提示依赖、高效且可迁移的目标攻击方法，同时保持预测掩码与目标图像的高相似度。

提出的方法

• 提出一种无需提示依赖的目标攻击（PATA），仅攻击图像编码器，避免对特定提示进行优化。
• 引入一种新颖的正则化损失，以增强对抗图像相对于随机自然图像的特征主导性，从而提升迁移能力。
• 将参考自然图像替换为从原始干净图像中裁剪出的随机图像块，以避免对外部数据的依赖。
• 结合迭代FGSM优化方法（如TI-FGSM）与正则化损失，生成对抗性扰动。
• 在黑盒设置下使用ViT-B作为替代模型，生成用于ViT-L和ViT-H变体的对抗性样本。
• 在点提示和框提示下，优化预测掩码与目标掩码之间的交并比（IoU）以实现高匹配度。

实验结果

研究问题

• RQ1 在无法访问模型或提示的黑盒设置下，是否能成功对SAM实施目标对抗攻击？
• RQ2 仅攻击图像编码器是否相比端到端攻击能更有效地提升跨提示与跨模型的迁移能力？
• RQ3 相对特征强度如何影响对抗样本在不同SAM变体间的迁移能力？
• RQ4 一种增强特征主导性的正则化损失是否能显著提升SAM上黑盒目标攻击的性能？

主要发现

• 在黑盒跨模型攻击下，PATA++在ViT-L上达到30.92%的平均IoU，在ViT-H上达到26.58%，优于基线PATA。
• 所提出的正则化损失显著提升了迁移能力，IoU从PATA的26.36%/22.78%提升至PATA++的30.92%/26.58%。
• 将PATA++与TI-FGSM结合可进一步提升性能，在ViT-L和ViT-H上分别达到33.53%和30.16%的IoU。
• 正则化损失比MI-FGSM更有效，后者反而降低了迁移能力，可能由于其导致的特征主导性更低。
• 扰动预算与性能呈强正相关，IoU从ε=4/255时的22.03%/20.07%提升至ε=16/255时的41.73%/35.17%。
• 定性结果表明，PATA++在点提示和框提示下均能成功生成与目标掩码高度相似的对抗性掩码。