[論文レビュー] Black-box Targeted Adversarial Attack on Segment Anything (SAM)

Sheng Zheng, Chaoning Zhang+1 more|arXiv (Cornell University)|Oct 16, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、プロンプト依存を回避するため、画像エンコーダーのみを攻撃することで、Segment Anything Model (SAM) に対するブラックボックス指向の adversarial 攻撃（PATA++）を提案する。特徴の優位性を高めるために新しい正則化損失を導入し、モデル間の転送性を著しく向上させ、ブラックボックス設定下での指向マスク生成において最先端の性能を達成した。

ABSTRACT

Deep recognition models are widely vulnerable to adversarial examples, which change the model output by adding quasi-imperceptible perturbation to the image input. Recently, Segment Anything Model (SAM) has emerged to become a popular foundation model in computer vision due to its impressive generalization to unseen data and tasks. Realizing flexible attacks on SAM is beneficial for understanding the robustness of SAM in the adversarial context. To this end, this work aims to achieve a targeted adversarial attack (TAA) on SAM. Specifically, under a certain prompt, the goal is to make the predicted mask of an adversarial example resemble that of a given target image. The task of TAA on SAM has been realized in a recent arXiv work in the white-box setup by assuming access to prompt and model, which is thus less practical. To address the issue of prompt dependence, we propose a simple yet effective approach by only attacking the image encoder. Moreover, we propose a novel regularization loss to enhance the cross-model transferability by increasing the feature dominance of adversarial images over random natural images. Extensive experiments verify the effectiveness of our proposed simple techniques to conduct a successful black-box TAA on SAM.

研究の動機と目的

• プロンプトやモデル重みへのアクセスなしに、実用的なブラックボックス設定下での Segment Anything Model (SAM) の adversarial な頑健性を調査すること。
• 特定のプロンプトタイプに依存しないようにすることで、エンドツーエンド攻撃におけるプロンプト間転送性の課題を克服すること。
• 自然画像に対する敵対的画像の相対的特徴強度を高めることで、敵対的例のモデル間転送性を向上させること。
• プロンプトに依存せず、効果的で転送性のある指向攻撃手法を開発し、予測マスクとターゲットマスクの類似度を高く維持すること。

提案手法

• プロンプトに依存しない指向攻撃（PATA）を提案し、モデルの重みやプロンプトに依存しない画像エンコーダーのみを攻撃する。
• 敵対的画像の特徴優位性を高めるために、新しい正則化損失を導入し、転送性を向上させる。
• 外部データに依存しないように、参照用の自然画像を元のクリーン画像からランダムに切り出したパッチに置き換える。
• 反復的 FGSM に基づく最適化（例：TI-FGSM）と正則化損失を組み合わせ、敵対的摂動を生成する。
• ViT-B をサーヴィレートモデルとして使用し、ブラックボックス設定下で ViT-L および ViT-H バリエーション用の敵対的例を生成する。
• ポイントおよびボックスプロンプトの両方において、予測マスクとターゲットマスクの交差率（IoU）を最大化するように最適化する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトやモデルへのアクセスなしに、ブラックボックス設定下で SAM に対して指向攻撃を成功させることができるか？
• RQ2 エンドツーエンド攻撃と比較して、画像エンコーダーのみを攻撃することで、プロンプト間およびモデル間の転送性が向上するか？
• RQ3 相対的特徴強度は、異なる SAM バリエーション間での敵対的例の転送性にどのように影響するか？
• RQ4 特徴優位性を高める正則化損失は、SAM におけるブラックボックス指向攻撃の性能を顕著に向上させることができるか？

主な発見

• PATA++ は、ブラックボックスのモデル間攻撃において、ViT-L で平均 IoU 30.92%、ViT-H で 26.58% を達成し、ベースラインの PATA を上回った。
• 提案された正則化損失により、非自明な水準で転送性が向上し、IoU は PATA の 26.36%/22.78% から PATA++ の 30.92%/26.58% に上昇した。
• PATA++ に TI-FGSM を組み合わせることでさらなる性能向上が得られ、ViT-L で 33.53%、ViT-H で 30.16% の IoU を達成した。
• 正則化損失は MI-FGSM よりも効果的であり、逆に MI-FGSM は驚くべきことに転送性を低下させた可能性がある。これは、特徴優位性が低いためと推測される。
• 摂動予算と性能の間に強い正の相関関係が認められ、ε=4/255 時に IoU 22.03%/20.07%、ε=16/255 時に 41.73%/35.17% に上昇した。
• 定性的な結果から、PATA++ はポイントおよびボックスプロンプトの両方において、ターゲットマスクに類似した敵対的マスクを効果的に生成していることが示された。