[論文レビュー] PTW: Pivotal Tuning Watermarking for Pre-Trained Image Generators

Nils Lukas, Florian Kerschbaum|arXiv (Cornell University)|Apr 14, 2023

Advanced Steganography and Watermarking Techniques被引用数 4

ひとこと要約

PTWは、ピボタルチューニングを用いて、事前学習済み画像生成モデルに対する高速でデータフリーのウォーターマーキング手法を提案する。これにより、1時間未満でウォーターマークを埋め込むことができ、学習から再訓練するのと比べて3桁以上速くなる。また、大規模なモデルや長いコードのサポートも可能である。重要であるが、白ボックス攻撃者が極めて少ないデータでウォーターマークを削除できることを示しており、深フェイク検出におけるウォーターマーキングの耐性に疑問を呈する。

ABSTRACT

Deepfakes refer to content synthesized using deep generators, which, when misused, have the potential to erode trust in digital media. Synthesizing high-quality deepfakes requires access to large and complex generators only a few entities can train and provide. The threat is malicious users that exploit access to the provided model and generate harmful deepfakes without risking detection. Watermarking makes deepfakes detectable by embedding an identifiable code into the generator that is later extractable from its generated images. We propose Pivotal Tuning Watermarking (PTW), a method for watermarking pre-trained generators (i) three orders of magnitude faster than watermarking from scratch and (ii) without the need for any training data. We improve existing watermarking methods and scale to generators $4 imes$ larger than related work. PTW can embed longer codes than existing methods while better preserving the generator's image quality. We propose rigorous, game-based definitions for robustness and undetectability, and our study reveals that watermarking is not robust against an adaptive white-box attacker who controls the generator's parameters. We propose an adaptive attack that can successfully remove any watermarking with access to only 200 non-watermarked images. Our work challenges the trustworthiness of watermarking for deepfake detection when the parameters of a generator are available. The source code to reproduce our experiments is available at https://github.com/nilslukas/gan-watermark.

研究の動機と目的

• 事前学習済み画像生成モデルに対して、再訓練を要する従来のウォーターマーキング手法の非効率性とスケーラビリティの制限を解決すること。
• トレーニングデータへのアクセスがなくても大規模な生成モデルにウォーターマーキングを可能にし、計算コストと時間を削減すること。
• 画像の忠実度を保ちながらより長いコードを埋め込むことで、ウォーターマーキングの容量と品質のトレードオフを改善すること。
• ゲームベースのセキュリティモデルを用いて、ウォーターマーキングの耐性（削除への抵抗性）と不検出性（鍵なしでの統計的区別不能性）を厳密に定義・評価すること。
• 攻撃者が生成モデルのパラメータを完全に制御できる白ボックス攻撃環境下でのウォーターマーキングの脆弱性を調査すること。

提案手法

• PTWは、モデルのパラメータのわずかなサブセットのみを最適化することで、事前学習済み生成モデルに効率的にウォーターマーキングを埋め込むためにピボタルチューニングを活用する。これにより、フルファインチューニングを回避できる。
• この手法は、秘密鍵を用いて生成モデルの特徴空間内の特定のレイヤーを変調し、画像合成時に潜在空間にバイナリコードを埋め込む。
• ウォーターマーキングの抽出は、鍵に依存するデコーダーを用いて生成画像を分析することで実行され、埋め込まれたコードを回復する。
• このアプローチは、潜在コードを画像にマッピングする任意の生成モデル（StyleGAN や潜在拡散モデルを含む）と互換性を持つ。
• 非ウォーターマーキング画像200枚のみを用いて生成モデルのパラメータを最適化することでウォーターマーキングを削除する、適応的攻撃「リバースピボタルチューニング（RPT）」を提案する。
• 耐性（削除への抵抗性）と不検出性（鍵なしでの統計的区別不能性）を形式的にモデル化するため、ゲームベースのセキュリティ定義を導入する。

Figure 1: A demonstration of our watermark and the impact of the number of embedded bits on the visual image quality. The top row shows the watermarked, synthetic image and the bottom row shows its difference to the same image without a watermark.

実験結果

リサーチクエスチョン

• RQ1 事前学習済み画像生成モデルに、トレーニングデータを一切要せず、効率的にウォーターマーキングを適用できるか？
• RQ2 生成モデルのサイズが大きくなるに従い、ウォーターマーキングの性能はどのようにスケーリングするか？ また、より長い埋め込みコードをサポートできるか？
• RQ3 攻撃者が生成モデルのパラメータを完全に制御できる白ボックス攻撃環境下でも、ウォーターマーキングは耐性を保つのか？
• RQ4 攻撃者がウォーターマーキングを成功裏に削除するために必要な非ウォーターマーキング画像の最小数はどの程度か？
• RQ5 攻撃者が秘密鍵を持たない場合でも、強い統計的分析を受けても、ウォーターマーキングは検出不能に保たれるか？

主な発見

• PTWは、ウォーターマーキング埋め込み時間を1GPU月以上から1時間未満に短縮し、従来手法と比べて3桁以上の高速化を達成した。
• この手法は、従来の研究が対応できたサイズの4倍の大きな生成モデルに対しても、画像品質の劣化を最小限に抑えながら、より長いウォーターマーキングコードを埋め込むことに成功した。
• 秘密鍵がなければウォーターマーキングは検出不能であり、攻撃者がウォーターマーキングの存在を検出するには少なくとも100枚のラベル付き非ウォーターマーキング画像とウォーターマーキング画像が必要である。
• 適応的白ボックス攻撃者は、非ウォーターマーキング画像200枚のみを用いて、元のトレーニングデータの0.3%未満で、いかなるウォーターマーキングも削除可能であり、画像品質への影響はほとんどない。
• 本研究は、既存のウォーターマーキング方式が白ボックス脅威モデルにおいて耐性を欠いていることを明らかにした。これは、生成モデルのパラメータが漏洩した場合の知的財産保護の有効性を根本から揺るがすものである。
• ブラックボックス攻撃者に対しては強力な性能を示すが、モデルが白ボックスとして配布された場合には、悪用を防ぐためのウォーターマーキングの役割が疑問視される。これは、プロアクティブな深フェイク対策におけるウォーターマーキングの役割に深刻な疑問を呈する。

Figure 2: Deepfake detection in a no-box setting by watermarking the generator.