[論文レビュー] DUAW: Data-free Universal Adversarial Watermark against Stable Diffusion Customization

Xiaoyu Ye, Hao Huang+2 more|arXiv (Cornell University)|Aug 19, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、微調整中の変分自己符号化器（VAE）を摂動させることで、生成画像に著しい視覚的歪みを引き起こす、データフリーなユニバーサルな敵対的ウォーターマーク「DUAW」を提案する。合成画像を大規模言語モデルと事前学習済みSDモデルから生成して訓練し、複数のSDバージョンおよびカスタマイズ手法において、著作権保護された画像を無視できない形で保護する。シンプルな分類器を用いて、不正な出力を96.43%の正確さで同定可能である。

ABSTRACT

Stable Diffusion (SD) customization approaches enable users to personalize SD model outputs, greatly enhancing the flexibility and diversity of AI art. However, they also allow individuals to plagiarize specific styles or subjects from copyrighted images, which raises significant concerns about potential copyright infringement. To address this issue, we propose an invisible data-free universal adversarial watermark (DUAW), aiming to protect a myriad of copyrighted images from different customization approaches across various versions of SD models. First, DUAW is designed to disrupt the variational autoencoder during SD customization. Second, DUAW operates in a data-free context, where it is trained on synthetic images produced by a Large Language Model (LLM) and a pretrained SD model. This approach circumvents the necessity of directly handling copyrighted images, thereby preserving their confidentiality. Once crafted, DUAW can be imperceptibly integrated into massive copyrighted images, serving as a protective measure by inducing significant distortions in the images generated by customized SD models. Experimental results demonstrate that DUAW can effectively distort the outputs of fine-tuned SD models, rendering them discernible to both human observers and a simple classifier.

研究の動機と目的

• Stable Diffusionのカスタマイズによる著作権侵害リスクの増大に応えるため、著作権保護された画像の被写体やスタイルをユーザーが模倣可能となる問題に対処する。
• オリジナル画像へのアクセスを必要とせず、多様な著作権保護済み画像を保護できる、ユニバーサルで見えないウォーターマークを開発する。
• モデル重みの変更なしに、複数のStable Diffusionバージョンおよびカスタマイズ技術（例：DreamBooth、LoRA）に対して強固な保護を実現する。
• ウォーターマークの見えなさを維持しつつ、画像前処理攻撃に対しても、微調整済みモデル出力における歪みを最大化する。
• LLMおよび事前学習済みSDモデルを用いて合成トレーニングデータを生成することで、保護対象画像の機密性を保持したまま、データフリーなトレーニングを可能にする。

提案手法

• ウォーターマークを適用した際の、オリジナル画像とVAE再構築画像の類似度を最小化する最適化ベースの敵対的攻撃を用いて、DUAWを訓練する。
• ウォーターマークは、SD微調整中に固定されたVAEの符号化および復元プロセスを攪乱するように最適化され、生成出力における一貫した歪みを確保する。
• 合成トレーニング画像は、大規模言語モデル（例：ChatGPT）および事前学習済みStable Diffusion v2.1モデルを用いて生成され、本物の著作権保護済み画像にアクセスせずにデータフリーなトレーニングを可能にする。
• 本手法はVAEコンponentに特化しており、トレーニング画像における微小な摂動が、微調整済みモデル出力で保持され、強調されることを活用している。
• ウォーターマークは多様な画像に普遍的に適用され、異なるVAEバリアント（ベース、ft-ema、ft-mse）およびSDモデルバージョン間での転送性をテストする。
• 一般的な画像劣化（ガウスノイズ、JPEG圧縮、ランダムノイズ）の下で耐性を評価し、保護成功率を主な指標として報告する。

実験結果

リサーチクエスチョン

• RQ1 本物の著作権保護済み画像にアクセスせずに、微調整済みStable Diffusionモデルの出力を歪ませるユニバーサルな敵対的ウォーターマークを設計可能か？
• RQ2 SDカスタマイズ中にVAEを攪乱することは、異なるカスタマイズ手法（例：DreamBooth、LoRA）において、生成画像の品質を著しく低下させるか？
• RQ3 LLMが生成する合成画像を用いたデータフリーなトレーニングアプローチは、画像機密性を保持しつつ、効果的なウォーターマーク化を実現可能か？
• RQ4 JPEG圧縮やガウスノイズなどの一般的な画像前処理攻撃に対して、ウォーターマークはどれほど耐性を示すか？
• RQ5 ウォーターマークは、異なるVAEバリアントおよび将来のStable Diffusionモデルバージョンに対し、どの程度一般化可能か？

主な発見

• シンプルなViT分類器を用いて、不正な画像出力を96.43%の正確さで同定可能であり、モデル生成歪みの検出において高い有効性を示している。
• ウォーターマークは生成画像に顕著な視覚的劣化を引き起こし、人間の観察者により、多様なプロンプトおよびカスタマイズ手法において歪みが明確に認識された。
• DUAWは異なるVAEバリアント間で強く転送可能である：ft-mseで訓練した場合、ベースVAEでは99.05%、ft-emaでは99.90%の保護成功率を達成しており、広範な互換性を示している。
• ガウスノイズおよびJPEG圧縮といった一般的な画像劣化に対しても、ウォーターマークは耐性を示し、歪みはわずかに減少するが、全体的な保護効果は損なわれない。
• ε値が0.05のとき、DUAWは高い見えなさ（SSIM ≈ 0.98）を維持しながらも、効果的な歪みを引き起こしており、見えなさと保護の両立に成功している。
• 本手法は、SD v2.1およびSD XL 1.0を含む複数のSDモデルバージョンで有効であり、一貫したパフォーマンスを示しており、将来のモデル保護への応用可能性を示唆している。