[論文レビュー] Watermarking Diffusion Model

Yugeng Liu, Zheng Li+3 more|arXiv (Cornell University)|May 21, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

論文は、潜在拡散モデル（LDM）をプロンプトのトリガーを介して所有権を埋め込み・検証する二つの水印方式NaiveWMとFixedWMを導入し、モデルの有用性と水印の堅牢性を評価する。

ABSTRACT

The availability and accessibility of diffusion models (DMs) have significantly increased in recent years, making them a popular tool for analyzing and predicting the spread of information, behaviors, or phenomena through a population. Particularly, text-to-image diffusion models (e.g., DALLE 2 and Latent Diffusion Models (LDMs) have gained significant attention in recent years for their ability to generate high-quality images and perform various image synthesis tasks. Despite their widespread adoption in many fields, DMs are often susceptible to various intellectual property violations. These can include not only copyright infringement but also more subtle forms of misappropriation, such as unauthorized use or modification of the model. Therefore, DM owners must be aware of these potential risks and take appropriate steps to protect their models. In this work, we are the first to protect the intellectual property of DMs. We propose a simple but effective watermarking scheme that injects the watermark into the DMs and can be verified by the pre-defined prompts. In particular, we propose two different watermarking methods, namely NAIVEWM and FIXEDWM. The NAIVEWM method injects the watermark into the LDMs and activates it using a prompt containing the watermark. On the other hand, the FIXEDWM is considered more advanced and stealthy compared to the NAIVEWM, as it can only activate the watermark when using a prompt containing a trigger in a fixed position. We conducted a rigorous evaluation of both approaches, demonstrating their effectiveness in watermark injection and verification with minimal impact on the LDM's functionality.

研究の動機と目的

• 拡散モデルの知的財産保護を動機付け、LDMの水印付与が有用性を劣化させずに行えるかという課題に対処する。
• NaiveWM と FixedWM の二つの水印方式を提案し、プロンプトを介して水印を注入・検証する。
• さまざまな攻撃下で水印の堅牢性・有用性影響・スケーラビリティを評価するための評価フレームワークを構築する。
• MS COCO データを用いた事前学習済み LDM で、水印アプローチの実現性と潜在的な秘匿性を示す。

提案手法

• トリガー・プロンプトを用いて事前学習済みLDMをファインチューニングし、水印を含む出力を生成させる水印挿入。
• NaiveWM はプロンプトへ水印トリガーを挿入し、水印イメージ対を伴ってLDMをファインチューニングする。
• FixedWM は水印の活性化をプロンプト内の固定されたトリガー位置に限定することで秘匿性を高める。
• 評価にはMS COCOデータセットと複数の画質指標（FID、SSIM、PSNR、VIFp、FSIM）を用い、有用性と水印品質を総合的に評価。
• 水印の性能は元画像と水印画像のMSEおよびトリガー長と毒化比のアブレーションで測定。
• 拡散過程の条件付け時にトークン化（例：BERT）されるテキストエンコーダを用いてトリガーを注入・検出する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: NaiveWM および FixedWM は水印付与後もLDMの有用性を維持するか。
• RQ2 RQ2: NaiveWM および FixedWM は検証時に水印画像を信頼性高く起動できるか。
• RQ3 RQ3: 毒化比とトリガー長は水印の有効性とモデル有用性にどう影響するか。
• RQ4 RQ4: 水印の秘匿性と活性化信頼性のトレードオフはどうなるか。

主な発見

Model	FID ↓	SSIM ↑	PSNR ↑	VIFp ↑	FSIM ↑
Baseline	28.265	0.114 ± 0.084	32.604 ± 1.616	0.013 ± 0.009	0.289 ± 0.026
NaiveWM	29.456	0.110 ± 0.079	32.674 ± 1.635	0.014 ± 0.011	0.286 ± 0.024
FixedWM_clean	31.690	0.107 ± 0.078	32.623 ± 1.616	0.013 ± 0.009	0.286 ± 0.023
FixedWM_other	32.468	0.107 ± 0.079	32.656 ± 1.655	0.014 ± 0.010	0.285 ± 0.024

• NaiveWM と FixedWM の両方が、ベースラインモデルに比べて小幅な劣化にとどまり、有用性を維持する。
• NaiveWM および FixedWM は意図した出力に密接に類似した水印画像を生成可能で、水印画像のMSEは低い（約0.118–0.121）。
• 水印付与は有用性の損失を限定的にし、NaiveWMではFIDが穏やかに、特定の設定下でFixedWMではより大きく増加する。
• 毒化比とトリガー長を増やすと一般に画質と水印検出可能性が低下し、水印強度と有用性の間でトレードオフが生じる。
• FixedWM のトリガー位置制約は秘匿性を高める一方、長いトリガー長では水印の有効性が低下する可能性がある。
• 実用的な水印フレームワークとして、複数の指標（FID、SSIM、PSNR、VIFp、FSIM）で定量的な結果を示す。