[論文レビュー] Warfare:Breaking the Watermark Protection of AI-Generated Content

Guanlin Li, Yifei Chen+6 more|arXiv (Cornell University)|Sep 27, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、事前学習済みの拡散モデルと生成対抗ネットワーク（GAN）を用いて、AI生成コンテンツ（AIGC）におけるウォーターマークの削除または偽造を効率的に行う統合的で包括的な敵対的攻撃フレームワーク「Warfare」を紹介する。本手法は、ウォーターマークの削除および偽造において、従来手法よりも最大11,000倍高速でありながら、画像品質を維持したまま、高い成功率を達成しており、AIGC向け既存のウォーターマーク技術における深刻な脆弱性を露呈している。

ABSTRACT

AI-Generated Content (AIGC) is rapidly expanding, with services using advanced generative models to create realistic images and fluent text. Regulating such content is crucial to prevent policy violations, such as unauthorized commercialization or unsafe content distribution. Watermarking is a promising solution for content attribution and verification, but we demonstrate its vulnerability to two key attacks: (1) Watermark removal, where adversaries erase embedded marks to evade regulation, and (2) Watermark forging, where they generate illicit content with forged watermarks, leading to misattribution. We propose Warfare, a unified attack framework leveraging a pre-trained diffusion model for content processing and a generative adversarial network for watermark manipulation. Evaluations across datasets and embedding setups show that Warfare achieves high success rates while preserving content quality. We further introduce Warfare-Plus, which enhances efficiency without compromising effectiveness. The code can be found in https://github.com/GuanlinLee/warfare.

研究の動機と目的

• 既存のウォーターマーク技術がAI生成コンテンツ（AIGC）に対して敵対的攻撃に対してどれほど脆弱であるかを調査すること。
• クリーンなデータやウォーターマークのメカニズムに関する事前知識が不要な、実用的で効率的かつ統合的な攻撃フレームワークを構築すること。
• 多様なデータセット、ウォーターマーク手法、画像の複雑さ（高解像度および複雑なシーンを含む）に対して、提案手法の有効性を評価すること。
• 攻撃者が実際に利用可能なのはウォーターマーク付き出力のみであるという現実世界の攻撃状況下で、現在のウォーターマーク防御が不十分であることを示すこと。

提案手法

• 攻撃者は、ターゲットサービスやユーザーから得たウォーターマーク付きAIGC出力のみを収集し、クリーンな参照画像は必要としない。
• 事前学習済みの拡散モデル（例：DDPM）を用いてウォーターマーク付きコンテンツのノイズ除去を行い、ノイズ注入プロセスを逆方向に実行することで、埋め込まれたウォーターマーク信号を効果的に消去する。
• 生成対抗ネットワーク（GAN）を訓練し、ウォーターマーク付き画像の分布をウォーターマークが消去された（水色が消去された）画像の分布にマッピングする（ウォーターマークの削除用）、またはターゲットのウォーターマークが埋め込まれた分布にマッピングする（偽造用）ようにする。
• GANの生成器は、わずか数枚のウォーターマーク付きサンプルのみを用いてfew-shotで訓練されるため、未観測のウォーターマークに対しても一般化が可能である。
• 拡散モデルの意味的整合性を活用することで、ウォーターマーク操作中に画像の詳細を保持し、高品質な知覚的品質を維持する。
• 本手法は、ポストホックおよびプリメソッドを含む複数のウォーターマーク手法に対して評価され、CelebA、FFHQ、LSUNなどの多様なデータセットでテストされた。

Figure 1 : Overview of Warfare . (1) Collecting watermarked data from the target AIGC service or Internet. (2) Using a public pre-trained denoising model to purify the watermarked data. (3) Adopting the watermarked and mediator data to train a GAN, which can be used to remove or forge the watermark.

実験結果

リサーチクエスチョン

• RQ1 攻撃者がクリーンなデータやウォーターマークの鍵を入手できない状況下で、AI生成コンテンツのウォーターマークを削除できるか？
• RQ2 攻撃者が別のユーザーのウォーターマークを、違法または不適切なコンテンツに偽装できるか？これにより誤った帰属が生じるか？
• RQ3 本手法の攻撃速度と成功率は、従来のウォーターマーク解除手法と比較してどれほど効率的で効果的か？
• RQ4 ウォーターマークの削除または偽造の過程で、画像品質と意味的整合性が保持されるか？
• RQ5 本攻撃は、未観測のウォーターマークや複雑で高解像度の画像に対しても一般化可能か？

主な発見

• Warfareは、ポストホックおよびプリメソッドを含む複数のデータセットおよびウォーターマーク手法において、95％を超える高い成功率でウォーターマークの削除および偽造を達成した。
• 従来の拡散モデルベースのウォーターマーク削除手法と比較して、5,050～11,000倍高速であり、大幅に効率性が向上した。
• FIDスコアの低下が最小限に抑えられ、CLIPおよびSSIM指標が保持されたことから、LSUNから得た複雑で高解像度の画像に対しても、高品質な画像を維持した。
• 本フレームワークは、削除および偽造の両状況でウォーターマーク検証を効果的に回避でき、現実世界での実用的妥当性を示した。
• わずかなfew-shot微調整のみで未観測のウォーターマークに対しても良好に一般化でき、新しいターゲットへの適応性が非常に高いことが示された。
• 可視化結果から、Warfareは意味的詳細を保持しており、本物のウォーターマークモデルと類似した残差パターンを生成していることが確認され、埋め込みパターンの有効な学習が行われたことが示された。

(a) Watermark Removal