[論文レビュー] Robustness of AI-Image Detectors: Fundamental Limits and Practical Attacks

Mehrdad Saberi, Vinu Sankar Sadasivan+5 more|arXiv (Cornell University)|Sep 29, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、AI画像検出器の根本的限界に焦点を当て、ウォーターマーキングおよび分類器ベースのディープフェイク検出器の耐性限界を調査する。低ノイズのウォーターマーキング手法における回避攻撃とスプーフィング攻撃の誤差の理論的トレードオフを明らかにし、拡散修復攻撃が検出性能を著しく低下させることを示している（AUROCが0.65未満に低下）。一方で、高ノイズの手法に対してはモデル置換攻撃を提案する。研究ではさらにスプーフィングの脆弱性を特定し、理論的・実験的検証を通じてディープフェイク検出器における耐性-信頼性のトレードオフを確立する。

ABSTRACT

In light of recent advancements in generative AI models, it has become essential to distinguish genuine content from AI-generated one to prevent the malicious usage of fake materials as authentic ones and vice versa. Various techniques have been introduced for identifying AI-generated images, with watermarking emerging as a promising approach. In this paper, we analyze the robustness of various AI-image detectors including watermarking and classifier-based deepfake detectors. For watermarking methods that introduce subtle image perturbations (i.e., low perturbation budget methods), we reveal a fundamental trade-off between the evasion error rate (i.e., the fraction of watermarked images detected as non-watermarked ones) and the spoofing error rate (i.e., the fraction of non-watermarked images detected as watermarked ones) upon an application of diffusion purification attack. To validate our theoretical findings, we also provide empirical evidence demonstrating that diffusion purification effectively removes low perturbation budget watermarks by applying minimal changes to images. The diffusion purification attack is ineffective for high perturbation watermarking methods where notable changes are applied to images. In this case, we develop a model substitution adversarial attack that can successfully remove watermarks. Moreover, we show that watermarking methods are vulnerable to spoofing attacks where the attacker aims to have real images identified as watermarked ones, damaging the reputation of the developers. In particular, with black-box access to the watermarking method, a watermarked noise image can be generated and added to real images, causing them to be incorrectly classified as watermarked. Finally, we extend our theory to characterize a fundamental trade-off between the robustness and reliability of classifier-based deep fake detectors and demonstrate it through experiments.

研究の動機と目的

• AI生成画像検出器の耐性を分析すること、特にウォーターマーキングおよび分類器ベースのディープフェイク検出器に焦点を当てる。
• 敵対的攻撃下でのウォーターマーキング手法における回避誤差とスプーフィング誤差の根本的トレードオフを特定すること。
• 拡散修復およびモデル置換攻撃が、さまざまなウォーターマーキング方式に対してどれほど効果的であるかを評価すること。
• 理論的および実験的手法を用いて、分類器ベースのディープフェイク検出器における耐性-信頼性のトレードオフを形式化すること。
• 実画像を偽装してウォーターマーキング済みと誤認させる実用的スプーフィング攻撃を提示すること、これにより開発者の評判が損なわれる。

提案手法

• 理論的分析により、拡散修復が画像分布に与える影響に基づき、Wasserstein距離と誤差関数を用いて、回避誤差とスプーフィング誤差の和の下限を導出する。
• 実験的検証では、ガウスノイズを追加し、拡散モデルを用いて画像を復元する「拡散修復」を用い、視認的変化を最小限に抑えて低ノイズのウォーターマーキングを除去する。
• 高ノイズのウォーターマーキングに対しては、モデル置換敵対的攻撃を開発：代替分類器を学習し、PGDを用いて誤検出画像を生成する。
• 潜在空間に異なるノイズレベルを導入してモデルを学習し、推論時のノイズ増加に伴いAUROCを測定することで、ディープフェイク検出器における耐性-信頼性のトレードオフを形式化する。
• 実画像に「ウォーターマーキング済みのノイズ画像」を追加することで、実画像が誤ってウォーターマーキング済みと分類されるスプーフィング攻撃を提案する。
• 実験は、DeepFakesおよびFaceSwapデータセットを用い、ResNet-18およびVGG-16-BNバックボーンを用い、さまざまなノイズレベルにおいてAUROCおよび耐性指標を評価する。

Figure 1: Illustration of our attacks against image watermarking methods. Upper panel demonstrates the diffusion purification attack for low perturbation budget (imperceptible) watermarks. It adds Gaussian noise to images, creating an indistinguishable region, which results in a certified lower boun

実験結果

リサーチクエスチョン

• RQ1 拡散修復攻撃下での低ノイズのウォーターマーキング手法において、回避誤差とスプーフィング誤差の根本的トレードオフは何か？
• RQ2 拡散修復は、視認的変化を最小限に抑えながら、画像からウォーターマーキングを効果的に除去できるか？ また、その結果、検出性能はどの程度低下するか？
• RQ3 元の検出器がブラックボックスの場合、モデル置換敵対的攻撃は高ノイズのウォーターマーキングをどれほど効果的に除去できるか？
• RQ4 分類器ベースのディープフェイク検出器における本質的耐性-信頼性のトレードオフは何か？ また、モデルの耐性とノイズレベルに応じてどのように変化するか？
• RQ5 ウォーターマーキングシステムへのブラックボックスアクセスのみを用いて、実画像を偽装し、誤ってウォーターマーキング済みと分類させるスプーフィング攻撃は可能か？

主な発見

• 拡散修復により、低ノイズのウォーターマーキング手法のAUROCが0.65未満に低下し、極めて小さな画像の摂動でも検出性能が著しく劣化することを示している。
• 理論的境界により、ウォーターマーキング済みと非ウォーターマーキング画像の分布間のWasserstein距離に依存した関数によって、回避誤差とスプーフィング誤差の和が下限づけられることを示している。
• モデル置換攻撃は高ノイズのウォーターマーキングを効果的に除去でき、視覚的変化が顕著であっても依然として脆弱であることが示された。
• スプーフィング攻撃により、実画像に「ウォーターマーキング済みのノイズ画像」を追加することで、実画像が誤ってウォーターマーキング済みと分類されることが可能であり、開発者の評判に損害を与える。
• 耐性-信頼性のトレードオフは実験的に検証された：ノイズ注入による検出器の耐性を高めるほどAUROCが低下し、理論的境界と一致することが確認された。
• 微小な画像空間の摂動が、深層ネットワークの潜在空間に大きな摂動を引き起こすことがあるため、検出器特徴に対する効果的な敵対的攻撃が可能になる。

Figure 2: Lower bound on the sum of evasion and spoofing errors of image watermarks against diffusion purification attack from Theorem 1 . The beta schedule for the diffusion model is linear in the range $[0.0008,0.0120]$ .