[論文レビュー] Mist: Towards Improved Adversarial Examples for Diffusion Models

Chumeng Liang, Xiaoyu Wu|arXiv (Cornell University)|May 22, 2023

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

Mistはセマンティック損失とテキスト損失を組み合わせた統合的敵対的損失を提案し、拡散モデルベースのアート作品生成に対してより転送性が高く堅牢な敵対的サンプルを作成。Mistをオープンソースパイプラインとして公開。

ABSTRACT

Diffusion Models (DMs) have empowered great success in artificial-intelligence-generated content, especially in artwork creation, yet raising new concerns in intellectual properties and copyright. For example, infringers can make profits by imitating non-authorized human-created paintings with DMs. Recent researches suggest that various adversarial examples for diffusion models can be effective tools against these copyright infringements. However, current adversarial examples show weakness in transferability over different painting-imitating methods and robustness under straightforward adversarial defense, for example, noise purification. We surprisingly find that the transferability of adversarial examples can be significantly enhanced by exploiting a fused and modified adversarial loss term under consistent parameters. In this work, we comprehensively evaluate the cross-method transferability of adversarial examples. The experimental observation shows that our method generates more transferable adversarial examples with even stronger robustness against the simple adversarial defense.

研究の動機と目的

• 拡散モデルによって生成される著作権侵害の可能性がある artwork からの保護を動機づける。
• 複数のDMベースの模倣シナリオ（テキスト反転、DreamBooth、画像から画像）に転送可能な敵対的サンプルを開発する。
• ターゲット画像の選択と損失の融合が頑健性と転送性に与える影響を調査する。
• 最先端の敵対的サンプルを生成するオープンソースパイプライン（Mist）を提供する。
• 頑健で転送可能な攻撃を導くためにハイパーパラメータとターゲット選択をベンチマークする。

提案手法

• 拡散モデルのための2つの既存敵対的損失を再構成・統合して共同目的を作成する。
• セマンティック損失：潜在変数をサンプリングして表現をセマンティック空間から離すように、拡散モデルの訓練損失を最大化する。
• テキスト損失：潜在拡散モデルを用いたPGDで元画像と撹乱画像のエンコーダ表現の距離を最大化する。
• 統合損失：セマンティック損失とテキスト損失を融合重みで組み合わせ、撹乱の統一的な目的を作成する。
• Mistの3つのモードを提供：セマンティック、テキスト、統合（Fusion）で、統合重み w を設定可能。
• テキスト損失の頑健性と転送性を高めるためにターゲット画像の選択を経験的に検討する。

Figure 1: Effects of Mist under pre-trained scenarios. From left to right: Source images, generated images under textual inversion, generated images under dreambooth, generated images under scenario.gg. The first row: Source and generated images for Van Gogh’s paintings. The second row: Source and g

実験結果

リサーチクエスチョン

• RQ1 one diffusion-model シナリオで作成した敵対的サンプルが他の DM ベースの絵画模倣タスク（Dreambooth、テキスト反転、画像から画像）へ効果的に転送するか？
• RQ2 セマンティックとテキストの敵対的損失を組み合わせると、シナリオ間の転送性と頑健性は向上するか？
• RQ3 ターゲット画像の選択は敵対的サンプルの有効性と頑健性にどう影響するか？
• RQ4 異なる DM 整列シナリオの下で、セマンティック・テキスト・統合の各 Mist モードの相対的な強みは？

主な発見

Mode	FID No Preprocessing ↑	Prec No Preprocessing ↓	FID Crop/Resize ↑	Prec Crop/Resize ↓
No Attack	237.56	0.9	280.63	1
Textural	419.43	0.04	303.05	0.72
Fused(w=1e3)	454.39	0.02	297.90	0.80
Fused(1e4)	371.12	0.22	277.88	0.44
Fused(1e5)	416.25	0.04	320.52	0.70
Semantic	465.82	0.02	350.87	0.18
No Attack (Dreambooth)	274.40	0.88	279.54	0.88
Textural (Dreambooth)	392.94	0.26	353.86	0.58
Fused(w=1e3) (Dreambooth)	429.40	0.04	347.10	0.52
Fused(1e4) (Dreambooth)	444.92	0.10	340.20	0.72
Fused(1e5) (Dreambooth)	357.08	0.26	328.44	0.46
Semantic (Dreambooth)	376.15	0.38	267.30	0.96
No Preprocessing (Textural Target)	274.40	0.88	279.54	0.88
Zero_Target	325.58	0.28	308.17	0.84
Target1	380.31	0.02	336.47	0.44
Target2	497.54	0	321.46	0.58
Target_Mist	392.93	0.26	353.85	0.58

• セマンティックとテキストの目的を統合した統合損失は、Dreambooth、テキスト反転、画像から画像のシナリオ間でより強い転送性を示す。
• Mistは単一損失モードより転送性に優れ、ノイズ除去や前処理（切り抜きと拡大縮小）などの簡単な防御に対して頑健性を示す。
• セマンティックモードはテキスト反転で最も強力、テキストモードはDreamboothで卓越、統合モードはシナリオを跨ぐ均衡した性能を提供。
• ターゲット画像の選択はテキスト損失ベースの攻撃の有効性と頑健性に大きく影響する；高コントラストかつパターン化されたターゲット（例：Target_Mist）はより効果的で頑健になりやすい。
• Mistの統合モードは適切な重みで、テキスト反転におけるセマンティックモードの強さを近似しつつ前処理下での頑健性を維持できる。

Figure 2: Effects of Mist under NovelAI image-to-image. From left to right: Source images, generated images with strength 0.25, generated images with strength 0.35, generated images with strength 0.5. The first row: Source and generated images for Monet’s paintings. The second row: Source and genera