[論文レビュー] Catch You Everything Everywhere: Guarding Textual Inversion via Concept Watermarking

Weitao Feng, Jiyan He+5 more|arXiv (Cornell University)|Sep 12, 2023

Advanced Steganography and Watermarking TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、テキスト変換におけるコンセプトウェイクマーキングを提案し、拡散サンプリングループ内でのウェイクマーキングエンコーダーとデコーダーの共同学習により、パーソナライズドなテキストから画像へのコンセプトに固有のウェイクマークを埋め込む。この手法は、多様な歪みおよびサンプリング設定下でも耐性のあるウェイクマーク抽出を可能にし、耐性テストで98.0%の成功率と0.3%のビット誤り率を達成。実用的利用を考慮し、視覚的忠実度と編集可能性を維持している。

ABSTRACT

AIGC (AI-Generated Content) has achieved tremendous success in many applications such as text-to-image tasks, where the model can generate high-quality images with diverse prompts, namely, different descriptions in natural languages. More surprisingly, the emerging personalization techniques even succeed in describing unseen concepts with only a few personal images as references, and there have been some commercial platforms for sharing the valuable personalized concept. However, such an advanced technique also introduces a severe threat, where malicious users can misuse the target concept to generate highly-realistic illegal images. Therefore, it becomes necessary for the platform to trace malicious users and hold them accountable. In this paper, we focus on guarding the most popular lightweight personalization model, ie, Textual Inversion (TI). To achieve it, we propose the novel concept watermarking, where watermark information is embedded into the target concept and then extracted from generated images based on the watermarked concept. Specifically, we jointly train a watermark encoder and a watermark decoder with the sampler in the loop. It shows great resilience to different diffusion sampling processes possibly chosen by malicious users, meanwhile preserving utility for normal use. In practice, the concept owner can upload his concept with different watermarks (ie, serial numbers) to the platform, and the platform allocates different users with different serial numbers for subsequent tracing and forensics.

研究の動機と目的

• AI生成コンテンツにおける不正利用の増加リスクに対処する。特に、パーソナライズドなコンセプトを用いた無許可の商業的利用や、誤解を招く画像の作成を防ぐ。
• テキスト変換モデルのコンセプト埋め込みに直接、追跡可能な情報を埋め込むウェイクマーキング機構を開発する。
• さまざまな拡散サンプリングプロセス、後処理による歪み、および適応的攻撃に対してもウェイクマークが耐性を持つことを保証する。
• 正当な利用のための元のコンセプトの有用性、視覚的忠実度およびテキスト編集可能性を維持する。
• 個々のユーザーへの帰属特定を可能にするために、コンセプト所有者が独自のシリアル番号を付与したウェイクマーク付きバージョンをアップロードできる実用的トレーサビリティを実現する。

提案手法

• ウェイクマークエンコーダーとデコーダーが拡散サンプラーと連携して学習される共同学習フレームワークを提案し、エンドツーエンドのウェイクマーク埋め込みと抽出を可能にする。
• ウェイクマークエンコーダーは、テキスト変換学習中に、学習可能なトークンベース表現を用いてシリアル番号情報をコンセプト埋め込みに統合する。
• ウェイクマークデコーダーは、同じコンセプト埋め込みを用いて生成画像から埋め込まれた情報を抽出し、シリアル番号の識別によりユーザーのトレースを可能にする。
• 前処理による歪み（例：ガウスノイズ、リスケーリング）に対する耐性を高めるために、対照的損失が学習プロセスに組み込まれる。
• JPEG圧縮、ぼかし、色調のずれなどの多様な後処理歪みを用いた、耐性の最適化ファインチューニングが実施され、耐性が向上する。
• 複数のバックプロパゲーションステップ（最大3ステップ）を用いた勾配ベースのバックプロパゲーションにより、学習の安定化とウェイクマーク検出性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 異なる拡散サンプリングプロセスおよび後処理歪み下でも、ウェイクマークが検出可能であるように、テキスト変換コンセプトにウェイクマークを埋め込むことは可能か？
• RQ2 提案手法は、正当な利用のためのコンセプトの視覚的品質および編集可能性を維持しているか？
• RQ3 ウェイクマークの削除または偽造を試みる適応的攻撃に対して、ウェイクマークスキームの有効性はいかほどか？
• RQ4 対照的損失や耐性ファインチューニングといったアーキテクチャ的要素が、ウェイクマークの耐性に与える影響は何か？
• RQ5 性能に悪影響を及げることなく、独自のシリアル番号を用いたスケーラブルなユーザー追跡を実現できるか？

主な発見

• 提案されたコンセプトウェイクマーキングは、標準条件下で98.0%の成功率（SR）と0.3%のビット誤り率（BER）を達成し、高い信頼性を示した。
• 後処理歪みに対して強い耐性を示し、ガウスノイズ下ではファインチューニングなしでBERが16.8%から3.5%に低下し、JPEG圧縮下では0.5%から0.1%に低下した。
• 対照的損失の導入により、リスケーリング下でBERが13.7%から3.5%に、画像平滑化下で22.3%から4.3%に低下し、前処理に対する耐性が顕著に向上した。
• 勾配バックプロパゲーションステップを1から3に増加させることで、BERが13.0%から0.3%に、SRが23.0%から98.0%に向上し、より深い最適化が検出精度を向上させることを示した。
• 8ビットウェイクマーク符号化で97.4%の成功率を達成し、シリアル番号割り当てにより最大255人の個別ユーザーをサポートした。
• アブレーションスタディにより、耐性ファインチューニングと対照的損失の両方が、攻撃的および現実世界の歪み下でも性能を維持するために不可欠であることが確認された。