[論文レビュー] Raising the Cost of Malicious AI-Powered Image Editing

Hadi Salman, Alaa Khaddaj+3 more|arXiv (Cornell University)|Feb 13, 2023

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

この論文は、不可知化可能な敵対的摂動で画像を免疫化し、拡散モデルによる現実的な編集をブロックすることを提案し、実装展開に向けた実践的な政策考慮を議論します。

ABSTRACT

We present an approach to mitigating the risks of malicious image editing posed by large diffusion models. The key idea is to immunize images so as to make them resistant to manipulation by these models. This immunization relies on injection of imperceptible adversarial perturbations designed to disrupt the operation of the targeted diffusion models, forcing them to generate unrealistic images. We provide two methods for crafting such perturbations, and then demonstrate their efficacy. Finally, we discuss a policy component necessary to make our approach fully effective and practical -- one that involves the organizations developing diffusion models, rather than individual users, to implement (and support) the immunization process.

研究の動機と目的

• 悪意あるAI生成による画像編集の経済的障壁を高めることを動機づける。
• 拡散モデルによる編集に対する防御として画像免疫化を提案する。
• 拡散モデルの操作を妨げる2つの摂動ベースの攻撃を開発する。
• 画像生成と編集タスクにおける免疫化の有効性を評価する。
• 実用的な展開に向けた技術政策上の手順を論じる。

提案手法

• 拡散モデルおよび潜在拡散モデル（LDMs）とそれらの編集機能をモデル化する。
• エンコーダ攻撃と拡散攻撃という2つの摂動戦略を、投影勾配降下法（PGD）で最適化する。
• エンコーダ攻撃を、‖δ‖∞ ≤ ε の下で ||E(x+δ) − z_target||^2 を最小化する形で定式化する。
• 拡散攻撃を、‖δ‖∞ ≤ ε の下で ||f(x+δ) − x_target||^2 を最小化し、切り詰められた拡散過程を通じて逆伝播する形で定式化する。
• 免疫化が非現実的な編集を生み出し、プロンプト指向の画像-プロンプト類似性を低下させることを示す（CLIP埋め込みを用いて）。
• 免疫化をサポートするための前方互換性と、モデル開発者向けのポリシーAPIを論じる。

実験結果

リサーチクエスチョン

• RQ1 察知できない摂動は拡散モデルの編集に対して画像を免疫化できるのか？
• RQ2 エンコーダ攻撃と拡散攻撃は有効性と堅牢性の点で異なるのか？
• RQ3 免疫化は編集の現実味とテキストプロンプトとの整合性にどう影響するのか？
• RQ4 モデルの進歩を維持しつつ、免疫化を大規模に展開するために必要なポリシー手段は何か？

主な発見

手法	FID ↓	PR ↑	SSIM ↑	PSNR ↑	VIFp ↑	FSIM ↑
免疫化ベースライン（ランダムノイズ）	82.57	1.00	0.75±0.13	19.21±4.00	0.43±0.13	0.83±0.08
免疫化（エンコーダ攻撃）	130.6	0.95	0.58±0.11	14.91±2.78	0.30±0.10	0.73±0.08
免疫化（拡散攻撃）	167.6	0.87	0.50±0.09	13.58±2.23	0.24±0.09	0.69±0.06

• 免疫化された画像は、いくつかの指標で非免疫化編集と著しく異なる編集を生み出す。
• 拡散攻撃による免疫化は、エンコーダ攻撃およびランダムノイズのベースラインと比較して、現実的な編集の効果を最も強く劣化させる。
• 定量的指標は、免疫化された画像のFIDが悪化し、プロンプトへの類似度が低下することを示す（例：拡散攻撃だと FID 167.6、PR 0.87、SSIM 0.50±0.09、PSNR 13.58±2.23、VIFp 0.24±0.09、FSIM 0.69±0.06）。
• 拡散ベースの免疫化後には、生成された編集とプロンプトとの画像-プロンプト類似性が低下し、プロンプトの効果が薄れることを示す。
• ランダムノイズのベースラインは、拡散モデルの編集を妨げるには効果がない。