[論文レビュー] Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models

Haixu Song, Shi‐Yu Huang+2 more|arXiv (Cornell University)|Sep 5, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、拡散モデルとInsightFaceを用いて生成された合成有名人顔の大型データセットであるDeepFakeFace (DFF) を紹介し、Deepfake検出の耐性および一般化性能を検討する。本稿では、生成器間検出と劣化画像分類の2つの新しい評価プロトコルを提案し、生成手法や画像の劣化に応じて検出器の性能が顕著に変動することを示し、より適応的な検出戦略の必要性を強調している。

ABSTRACT

The rise of deepfake images, especially of well-known personalities, poses a serious threat to the dissemination of authentic information. To tackle this, we present a thorough investigation into how deepfakes are produced and how they can be identified. The cornerstone of our research is a rich collection of artificial celebrity faces, titled DeepFakeFace (DFF). We crafted the DFF dataset using advanced diffusion models and have shared it with the community through online platforms. This data serves as a robust foundation to train and test algorithms designed to spot deepfakes. We carried out a thorough review of the DFF dataset and suggest two evaluation methods to gauge the strength and adaptability of deepfake recognition tools. The first method tests whether an algorithm trained on one type of fake images can recognize those produced by other methods. The second evaluates the algorithm's performance with imperfect images, like those that are blurry, of low quality, or compressed. Given varied results across deepfake methods and image changes, our findings stress the need for better deepfake detectors. Our DFF dataset and tests aim to boost the development of more effective tools against deepfakes.

研究の動機と目的

• 有名人を標的としたDeepfake画像の増加する脅威に対処し、誤情報の拡散とデジタルメディアへの信頼の損なわれることを防ぐ。
• 標準データセットを超えて耐性および一般化性能に焦点を当てた、Deepfake検出モデルを評価する包括的なベンチマークを構築すること。
• 最先端の拡散モデルと顔面操作ツールを用いて、多様で高品質な合成有名人顔のデータセットを構築すること。
• 2つの新しい評価フレームワークを導入する：生成器間検出（異なる生成手法への一般化）と劣化画像分類（画像品質の劣化に対する耐性）。
• DFFデータセットと評価プロトコルを公開し、Deepfake検出分野の研究を加速すること。

提案手法

• 高精細でアイデンティティを保持する顔生成を実現するため、拡散モデル（Stable Diffusion v1.5、インpainting）とInsightFaceを用いてDeepFakeFace (DFF) データセットを構築した。
• Stable Diffusion v1.5、Stable Diffusion Inpainting、およびInsightFaceの3つの異なる生成手法を用いて、合計90,000枚の合成有名人顔を生成した。
• ある生成手法で訓練された検出器が他の手法で生成されたDeepfakeに一般化できるかをテストするため、生成器間検出評価プロトコルを設計した。
• 一般的な実世界の画像劣化（色のコントラスト、彩度、ガウスノイズ、ピクセル化）を想定し、検出器の性能を評価するための劣化画像分類プロトコルを実装した。
• 異なる生成手法と摂動タイプにおける性能を評価するために、RECCEモデルをベースライン検出器として用いた。
• 標準的な指標（正確度（Acc）、AUC、等誤差率（EER））を用いて、さまざまな条件下での検出性能を定量的に評価した。

(a) Images from IMDB-WIKI dataset [ 26 ] .

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusionで訓練されたDeepfake検出器は、他の手法（例：InsightFace）で生成されたDeepfakeをどれほど効果的に検出できるか？
• RQ2 ぼかし、ピクセル化、色の変更といった一般的な画像劣化は、Deepfake検出器の性能にどのように影響するか？
• RQ3 異なる拡散ベースの生成技術におけるDeepfakeの相対的な検出可能性はどの程度か？
• RQ4 ガウスノイズやピクセル化といった画像摂動は、検出性能を低下させるか、逆に向上させることがあるか？
• RQ5 検出器の一般化性能は、元の生成手法や画像品質条件に応じてどの程度変動するか？

主な発見

• RECCE検出器は、InsightFaceで生成されたDeepfakeに対して58.99%の正確度を達成したが、Stable Diffusion Inpaintingでは51.35%、Stable Diffusion v1.5ではわずか38.14%にとどまり、生成手法による性能の顕著な差が示された。
• ガウスノイズや彩度変更といった画像劣化は、検出性能にほとんど影響を与えず、一部の手法ではわずかに性能が向上する傾向も見られた（例：Stable Diffusion v1.5ではガウスノイズ下で52.68%の正確度を示した）。
• ピクセル化はStable Diffusion v1.5の性能を低下させた（正確度が42.49%に低下）が、InsightFaceでは影響が小さく（54.59%）、生成手法ごとの劣化感受性の差が明確に現れた。
• 色のコントラスト調整は、すべての手法において検出性能にほとんど影響を与えず、正確度とEERに僅かな変動しか生じなかった。
• 生成器間検出タスクから、ある手法で訓練された検出器が他の手法に一般化できないことが明らかになった。これは、より耐性があり一般化可能な検出アーキテクチャの必要性を強調している。
• 劣化画像分類タスクから、特にぼかしのような摂動は一部の生成手法において検出可能性を向上させる可能性があることが示され、劣化が常に検出性能を悪化させるという仮定に疑問を呈した。

(b) Deepfake images from FaceForensics++ [ 25 ] .