[論文レビュー] Targeted Attack Improves Protection against Unauthorized Diffusion Customization

Boyang Zheng, Chumeng Liang+1 more|arXiv (Cornell University)|Oct 7, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、LoRA や SDEdit などの最先端の少样本生成手法に対して顕著に効果を発揮する、メモリ効率の高い敵対的攻撃である Improved Targeted Attack (ITA) を提案する。新たな標的化目的関数と3つのメモリ節約メカニズムを導入することで、GPU メモリ使用量を 6GB 未満に削減し、コンsumer レベルのハードウェアでも実行可能にするとともに、一般的なノイズ除去防御に対して高い耐性を示す。

ABSTRACT

Diffusion models build a new milestone for image generation yet raising public concerns, for they can be fine-tuned on unauthorized images for customization. Protection based on adversarial attacks rises to encounter this unauthorized diffusion customization, by adding protective watermarks to images and poisoning diffusion models. However, current protection, leveraging untargeted attacks, does not appear to be effective enough. In this paper, we propose a simple yet effective improvement for the protection against unauthorized diffusion customization by introducing targeted attacks. We show that by carefully selecting the target, targeted attacks significantly outperform untargeted attacks in poisoning diffusion models and degrading the customization image quality. Extensive experiments validate the superiority of our method on two mainstream customization methods of diffusion models, compared to existing protections. To explain the surprising success of targeted attacks, we delve into the mechanism of attack-based protections and propose a hypothesis based on our observation, which enhances the comprehension of attack-based protections. To the best of our knowledge, we are the first to both reveal the vulnerability of diffusion models to targeted attacks and leverage targeted attacks to enhance protection against unauthorized diffusion customization. Our code is available on GitHub: https://github.com/psyker-team/mist-v2.

研究の動機と目的

• LoRA や SDEdit のような最新の LDM ベースの少样本生成パイプラインに対する、従来の敵対的攻撃の限界的な有効性を是正すること。
• 高価な高スペックハードウェアに限定される現在の攻撃の高い GPU メモリコストを低減すること。
• 不正な LDM 駆動画像生成による著作権およびプライバシーリスクに直面する個人向けの実用的防御ツールを開発すること。
• 一般的なノイズ除去ベースの敵対的防御（例：JPEG 圧縮、リサイズ）に対して攻撃の耐性を確保すること。
• モデルへのアクセスが制限される現実世界のブラックボックス環境でも適用可能な攻撃を実現すること。

提案手法

• 攻撃は、参照画像の特徴空間を標的とする、新たな標的化目的関数を用いる。この関数により、少样本画像生成における失敗確率を最大化する摂動を最適化する。
• 勾配チェックポイント、ミックス・プレシジョン推論、選択的アクティベーション保存の3つの技術により、GPU メモリ消費量を 6GB 未満に削減することで、メモリ効率を実現する。
• 攻撃は LDM の潜在空間に摂動を適用し、人間が認識できないままに拡散プロセスにおける破壊を最大限に高める。
• 攻撃は複数のバックボーンモデル（例：Stable Diffusion、SDXL）および被害者モデル（SDEdit、LoRA）を対象として評価され、顕著なクロスモデルの転送性を示した。
• ガウスノイズ、JPEG 圧縮、リサイズ（2倍および 0.5 倍）、スーパーレゾリューションを含む、ノイズ除去防御に対して耐性をテストし、生成出力の品質低下が一貫して観察された。
• 摂動予算 4/255 の条件下で評価され、生成品質の低下度を測定するため、MS-SSIM、CLIP-SIM、CLIPIQA の指標が用いられた。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、標的化された敵対的攻撃が、LDM ベースの少样本生成において著しく高い失敗率を達成できるか？
• RQ2 メモリ効率の良い技術を用いることで、LDM の敵対的攻撃における GPU メモリ使用量を、有効性を損なわずどの程度削減できるか？
• RQ3 一般的なノイズ除去ベースの防御（例：ガウスノイズ、JPEG 圧縮、リサイズ）に対して、提案手法の攻撃はどの程度耐性を示すか？
• RQ4 異なる LDM バックボーンおよび被害者モデル間でも、攻撃が強力な性能を維持するか。これは、クロスモデルの転送性を示唆する。
• RQ5 入力と出力のみが入手可能なブラックボックス環境でも、攻撃が実際に効果的に展開可能か？

主な発見

• 8/255 の摂動予算下で、LoRA では CLIPIQA スコアが 39.63、SDEdit では 0.45 に低下し、敵対的摂動後における画像品質の著しい劣化が確認された。
• SDEdit や LoRA を含む複数の被害者モデルにおいても、MS-SSIM スコアが 0.5 未満、CLIP-SIM スコアが 0.1 未満に保たれるなど、コンテンツ転送の効果的な破壊が確認された。
• ガウスノイズ（σ=8）、JPEG 圧縮（Q=20,70）、リサイズ（2倍、0.5倍）、スーパーレゾリューションを適用しても、CLIPIQA スコアが低く維持され、出力品質の劣化が継続した。
• 特に高品質 JPEG 圧縮やリサイズといった、現実世界の画像処理パイプラインで一般的に用いられる防御に対しても、攻撃は効果的に耐性を示した。
• 勾配チェックポイント、ミックス・プレシジョン推論、選択的アクティベーション保存により、メモリ使用量が 6GB 未満に削減され、コンsumer GPU でも実行可能となった。
• 可視化と定量的評価結果から、ITA が生成する敵対的例は、SDEdit や LoRA パイプラインですべての意味ある出力を得られず、防御が適用されても依然として効果を示した。