[論文レビュー] FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image Diffusion Models

Yingqian Cui, Jie Ren+8 more|arXiv (Cornell University)|Oct 3, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

FT-Shieldは、テキスト-to-画像拡散モデルの訓練画像に水増しを埋め込むことで、不正なファインチューニングを検出する画期的な水増しフレームワークである。拡散モデルの訓練損失を水増し生成の目的関数に統合することにより、FT-Shieldは水増しがファインチューニングの初期段階で急速に統合されることを保証し、水増し学習よりも前にスタイル変換が発生しても、信頼性の高い検出が可能になる。従来の手法に比べ、検出精度と耐性の両面で優れている。

ABSTRACT

Text-to-image generative models, especially those based on latent diffusion models (LDMs), have demonstrated outstanding ability in generating high-quality and high-resolution images from textual prompts. With this advancement, various fine-tuning methods have been developed to personalize text-to-image models for specific applications such as artistic style adaptation and human face transfer. However, such advancements have raised copyright concerns, especially when the data are used for personalization without authorization. For example, a malicious user can employ fine-tuning techniques to replicate the style of an artist without consent. In light of this concern, we propose FT-Shield, a watermarking solution tailored for the fine-tuning of text-to-image diffusion models. FT-Shield addresses copyright protection challenges by designing new watermark generation and detection strategies. In particular, it introduces an innovative algorithm for watermark generation. It ensures the seamless transfer of watermarks from training images to generated outputs, facilitating the identification of copyrighted material use. To tackle the variability in fine-tuning methods and their impact on watermark detection, FT-Shield integrates a Mixture of Experts (MoE) approach for watermark detection. Comprehensive experiments validate the effectiveness of our proposed FT-Shield.

研究の動機と目的

• 著作権のある画像を用いたスタイル模倣や顔生成を目的とした不正なモデルファインチューニングの増加する懸念に対処すること。
• 保護されたデータの正当な利用を維持しつつ、違法利用の検出を可能にする水増し手法を開発すること。
• 従来の水増し技術が水増し統合に多数のファインチューニングステップを要するという限界を克服すること。
• 拡散モデルが視覚的スタイルを学習するよりも前に水増しが学習されるように保証し、完全なスタイル転送の前段階で検出を可能にすること。

提案手法

• 拡散モデルの訓練損失を水増し目的関数に統合する画期的な水増し生成アルゴリズムを導入し、ファインチューニング中に水増しが迅速に統合されるように最適化する。
• ファインチューニング済みモデルから生成された画像を用いてトレーニングされたバイナリ水増し検出器を設計し、出力画像における水増しの存在を検出する。
• 検出器トレーニング中に、ファインチューニング済みモデルから合成画像を生成することでデータ拡張を実施し、検出器の汎化性と耐性を向上させる。
• 画像品質を維持しながら水増しを埋め込むために、微分可能で人間には認識できない摂動戦略を用いて訓練画像に水増しを適用する。
• 水増し信号のモデル学習を視覚的忠実度よりも優先するように水増し生成プロセスを最適化し、早期検出を保証する。
• 複数のファインチューニング手法（DreamBooth、Textual Inversion、LoRA）およびさまざまな画像劣化条件下で、耐性をテストするために評価を実施する。

Figure 1: Generated images from fine-funed text-to-image models: a comparison of watermarking methods at different fine-tuning steps.

実験結果

リサーチクエスチョン

• RQ1 保護されたデータの視覚的スタイルがまだ完全に学習されていない状態でも、生成画像における水増しは検出可能か？
• RQ2 限定的なファインチューニングステップ条件下で、FT-Shieldの水増し検出性能は既存の水増し手法と比べてどのように異なるか？
• RQ3 訓練データ内における保護画像の割合（水増しレート）が検出精度に与える影響は何か？
• RQ4 JPEG圧縮やガウスノイズなどの一般的な画像劣化に対して、水増し検出器の耐性はどの程度か？
• RQ5 検出器トレーニング時にデータ拡張を適用すると、検出性能が顕著に向上するか？

主な発見

• DreamBoothを用いた場合、100％の水増し率で99.66％の水増し検出率を達成し、ベースライン手法を著しく上回った。
• 25％の低水増し率であっても、LoRAを除くすべてのファインチューニング手法で80％以上の検出率を維持し、希釈保護に対しても強い耐性を示した。
• 80％の水増し率では、すべての手法で95％以上の検出率を達成した一方で、ベースライン手法は同条件で80％未満に低下した。
• データ拡張を適用した検出器は、JPEG圧縮やガウスノイズ下でも99％を超える検出精度を達成したが、拡張なしバージョンは70％未満に低下した。
• LoRAファインチューニングでは、100％の水増し率で97.49％の検出率を維持し、次善のベースライン手法を10ポイント以上上回った。
• データ拡張なしの検出器では性能が著しく低下し、大多数の手法でTPRが55％未満に低下した。これは、拡張されたトレーニングデータの必要性を裏付けた。

Figure 2: An overview of the two-stage watermarking protection process