[論文レビュー] A Recipe for Watermarking Diffusion Models

Yunqing Zhao, Tianyu Pang+4 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Steganography and Watermarking Techniques被引用数 15

ひとこと要約

本論文は、拡散モデル（無条件/クラス条件付きおよびテキストから画像）に対する実用的な透かしパイプラインを、バイナリ文字列または透かし画像をトリガープロンプトと共に埋め込み、重み制約付き微調整法を含む大型テキスト-to-イメージモデル向けを提示する。

ABSTRACT

Diffusion models (DMs) have demonstrated advantageous potential on generative tasks. Widespread interest exists in incorporating DMs into downstream applications, such as producing or editing photorealistic images. However, practical deployment and unprecedented power of DMs raise legal issues, including copyright protection and monitoring of generated content. In this regard, watermarking has been a proven solution for copyright protection and content monitoring, but it is underexplored in the DMs literature. Specifically, DMs generate samples from longer tracks and may have newly designed multimodal structures, necessitating the modification of conventional watermarking pipelines. To this end, we conduct comprehensive analyses and derive a recipe for efficiently watermarking state-of-the-art DMs (e.g., Stable Diffusion), via training from scratch or finetuning. Our recipe is straightforward but involves empirically ablated implementation details, providing a foundation for future research on watermarking DMs. The code is available at https://github.com/yunqing-me/WatermarkDM.

研究の動機と目的

• 拡散モデルと生成コンテンツの著作権保護とモニタリングを動機づける。
• 2つのDMパラダイム（無条件/クラス条件付きとテキストから画像生成）に合わせた透かしパイプラインを提案する。
• トレーニングデータのエンコードや正則化下での微調整を用いて、バイナリ透かしまたは透かし画像を埋め込む方法を実演する。
• 透かし検出性とモデル/生成品質のトレードオフに関する経験的アブレーションと指針を提供する。

提案手法

• 透かしエンコーダを用いてトレーニングデータに事前定義されたバイナリ透かしを埋め込み、透かしデコーダーで透かしを復号できるようDMをゼロから学習させる。
• 事前学習済みデコーダーを介して生成サンプルから透かしを復号し、所有権やモニタリング能力を検証する。
• テキストから画像のDMの場合、透かし画像とトリガープロンプトを用いて事前学習済みDMを微調整し、非トリガープロンプトの性能を保持するために重み制約付き正則化を用いる。
• 希少なトリガートークン（例：[V]）を使用して透かし画像の生成を誘導し、一般的な画像品質を大幅に低下させずに済ませる。
• 画像およびモデル重みへの摂動に対する頑健性を評価し、透かしビット長がFIDおよびPSNR/SSIM指標に与える影響を分析する。
• トリガープロンプトや正則化強度などの設計選択を検討し、透かしの正確性と生成性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ホワイトボックスアクセスなしで拡散モデルに透かしを効果的に埋め込むにはどうすればよいか？
• RQ2 無条件/クラス条件付きおよびテキストから画像DMに透かしを付与する実用的なパイプラインとは何か？
• RQ3 透かしビット長とトリガ設計が透かし検出性と画像品質に与える影響は？
• RQ4 入力・出力・モデル重みの摂動に対して透かしが頑健で、実用性を維持できるか？

主な発見

• 無条件/クラス条件付きDMに埋め込まれた透かしは、事前学習済み透かしデコーダーを用いて生成画像から正確に回復できる。
• 透かしを埋め込むと分布シフトが増大し、画像品質が低下する可能性がある；高解像度データはこの劣化を緩和する。
• テキストから画像のDMは、透かし画像とトリガープロンプトを用いた微調整と、非トリガーの性能を維持するための重み制約付き正則化で透かしを埋め込むことができる。
• 中程度の重み正則化パラメータ（lambda）が、透かしトリガ性と生成忠実度のバランスをとるのに必要である。
• 事前定義の透かし（例：64ビット文字列）は、重みの摂動や生成サンプルのノイズ下でも回復可能であり、頑健性を示す。
• 透かしデコーディングは後半のサンプリングステップで改善する傾向があり、透かしが細かなサンプリング段階に集中することを示す。