[論文レビュー] The Stable Signature: Rooting Watermarks in Latent Diffusion Models

Pierre Fernandez, Guillaume Couairon+3 more|arXiv (Cornell University)|Mar 27, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、潜在拡散モデル（LDM）の潜在デコーダーを微調整して二値の署名を直接埋め込むことで、目に見えないデジタルウォーターマークを埋め込む手法「Stable Signature」を提案する。この手法により、切り取りやリサイズ、編集後でも耐性があり、効率的かつ安全にAI生成画像を検出可能であり、偽陽性率が10⁻⁶未満で90%以上の検出精度を達成する。

ABSTRACT

Generative image modeling enables a wide range of applications but raises ethical concerns about responsible deployment. This paper introduces an active strategy combining image watermarking and Latent Diffusion Models. The goal is for all generated images to conceal an invisible watermark allowing for future detection and/or identification. The method quickly fine-tunes the latent decoder of the image generator, conditioned on a binary signature. A pre-trained watermark extractor recovers the hidden signature from any generated image and a statistical test then determines whether it comes from the generative model. We evaluate the invisibility and robustness of the watermarks on a variety of generation tasks, showing that Stable Signature works even after the images are modified. For instance, it detects the origin of an image generated from a text prompt, then cropped to keep $10\%$ of the content, with $90$+$\%$ accuracy at a false positive rate below 10$^{-6}$.

研究の動機と目的

• AI生成画像の真正性に関する倫理的懸念に対処し、信頼性の高いAI生成画像の検出を可能にすること。
• モデルがオープンソース化された場合に簡単に削除可能な後処理ウォーターマークの限界を克服すること。
• アーキテクチャの変更や性能の低下を伴わずに、生成プロセスにウォーターマークをネイティブに統合すること。
• 切り取り、リサイズ、編集などの現実世界の画像操作に対してもウォーターマークの耐性を確保すること。
• モデル提供者やコンテンツプラットフォームがAI生成コンテンツを追跡・監視できる、安全で効率的かつ互換性のあるソリューションを提供すること。

提案手法

• ウォーターマーク抽出器からの隠しメッセージ損失と、知覚的損失の組み合わせを用いて、事前学習済みLDMの潜在デコーダーのみを微調整する。
• 簡略化されたHiDDeN手法に基づく事前学習済みウォーターマーク抽出器を用い、生成画像から埋め込まれた二値署名を回復する。
• 抽出出力に対してホワイトニングを適用し、ビット分布をi.i.d.なベルヌーイ分布に近づけることで、統計的信頼性を向上させる。
• 実画像のサブセット上でウォーターマーク抽出器を訓練し、水色化されていない画像からの抽出メッセージが、ランダムと統計的に区別できないようにする。
• ハミング距離に基づき、抽出されたメッセージと期待されるメッセージとの差を統計的検定で評価し、閾値を用いてウォーターマークの存在を判断する。
• バックプロパゲーションを用いたエンドツーエンド学習により、生成中に署名を埋め込み、画像品質およびFIDスコアに影響を与えないようにする。

Figure 1: Overview. The latent decoder can be fine-tuned to preemptively embed a signature into all generated images.

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャや拡散プロセスを変更せずに、潜在拡散モデルの生成プロセスにウォーターマークをスムーズに統合できるか？
• RQ2 切り取り、リサイズ、インpaintingなどの一般的な画像操作に対してウォーターマークはどれほど耐性があるか？
• RQ3 非常に低い偽陽性率を維持しながら、高い正確性でウォーターマークを検出できるか？
• RQ4 ウォーターマーク埋め込みプロセスが、画像の知覚的品質やFIDスコアに悪影響を及えるか？
• RQ5 後処理ウォーターマーク技術と比較して、本手法はセキュリティと効率性において優れているか？

主な発見

• 切り取りが元のサイズの10%にまで縮小された画像に対しても、90%以上の検出精度を達成し、偽陽性率は10⁻⁶未満である。
• インpainting やスーパーレゾリューションなどの複雑な編集後でもウォーターマークは耐性があり、困難な状況下でもランダム確率を著しく上回るビット正確性を示す。
• ウォーターマーク埋め込み後も生成画像のFIDスコアに変化がなく、画像品質の低下がないことを確認した。
• ウォーターマーク抽出器は理論的および実測の偽陽性率がほぼ一致しており、統計モデルの正確性が裏付けられた。
• 計算効率が高く、テキストから画像生成、インpainting、画像編集など、多数のLDMベースのアプリケーションと互換性がある。
• モデルがオープンソース化された場合でも、再訓練を行わなければウォーターマークを削除できないため、後処理ウォーターマークよりセキュリティ面で優れている。

Figure 2: Steps of the method. (a) We pre-train a watermark encoder $\mathcal{W}_{E}$ and extractor $\mathcal{W}$ , to extract binary messages. (b) We fine-tune the decoder $\mathcal{D}$ of the LDM’s auto-encoder with a fixed signature $m$ such that all the generated images (c) lead to $m$ through $