[論文レビュー] Towards General Visual-Linguistic Face Forgery Detection

Ke Sun, Chen Shen+5 more|arXiv (Cornell University)|Jul 31, 2023

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、微細な文レベルのプロンプトを教師信号として用いることで、深伪造検出における汎化性と解釈可能性を向上させる、新たなマルチモーダルフレームワークであるVisual-Linguistic Face Forgery Detection (VLFFD) を提案する。Prompt Forgery Image Generator (PFIG) を用いて意味的アノテーションを付与した混合偽造画像を生成し、Coarse-and-Fine Co-training (C2F) フレームワークで学習することで、未観測のテストデータにおいてベースライン比でAUCが13%向上し、マルチモーダル大規模言語モデル (LLM) と統合することで解釈可能で推論に基づく検出が可能になる。

ABSTRACT

Deepfakes are realistic face manipulations that can pose serious threats to security, privacy, and trust. Existing methods mostly treat this task as binary classification, which uses digital labels or mask signals to train the detection model. We argue that such supervisions lack semantic information and interpretability. To address this issues, in this paper, we propose a novel paradigm named Visual-Linguistic Face Forgery Detection(VLFFD), which uses fine-grained sentence-level prompts as the annotation. Since text annotations are not available in current deepfakes datasets, VLFFD first generates the mixed forgery image with corresponding fine-grained prompts via Prompt Forgery Image Generator (PFIG). Then, the fine-grained mixed data and coarse-grained original data and is jointly trained with the Coarse-and-Fine Co-training framework (C2F), enabling the model to gain more generalization and interpretability. The experiments show the proposed method improves the existing detection models on several challenging benchmarks. Furthermore, we have integrated our method with multimodal large models, achieving noteworthy results that demonstrate the potential of our approach. This integration not only enhances the performance of our VLFFD paradigm but also underscores the versatility and adaptability of our method when combined with advanced multimodal technologies, highlighting its potential in tackling the evolving challenges of deepfake detection.

研究の動機と目的

• 既存の二値ラベルによる顔偽造検出手法における意味的教師信号と解釈可能性の欠如に対処すること。
• 未観測の偽造タイプに対しても汎化性を向上させるために、微細なテキストアノテーションを活用すること。
• 偽造予測のための説明可能で文レベルの正当化を提供することで、解釈可能な検出を実現すること。
• マルチモーダル大規模言語モデル (LLMs) と視覚的・言語的パラダイムを統合し、検出性能を向上させること。
• 既存のデータセットから微細な偽造アノテーションを含む画像・テキストペアをスケーラブルに生成するパイプラインを構築すること。

提案手法

• 定量的基準に基づき、実画像と偽造画像のペアを分離・再結合することで、混合偽造画像を自動生成する Prompt Forgery Image Generator (PFIG) を提案する。
• 偽造の特徴（例：不自然な目の形、一貫性のない照明）を記述する微細な文レベルのプロンプトを設計し、意味的教師信号として活用する。
• 粗粒度の元データと微細粒度の混合データの両方を、コントラスト学習とマルチモーダル学習の文脈で共同で学習する Coarse-and-Fine Co-training (C2F) フレームワークを導入する。
• 視覚的・言語的特徴の整合性を実現するため、CLIP をバックボーンとして利用し、ゼロショット転送を可能にするとともに、未観測の偽造タイプに対しても耐性を向上させる。
• PFIG が生成した画像・テキストペアと推論に基づくプロンプトを用いて MiniGPT-4 をファインチューニングし、LLM が検出意思決定のための説明可能な正当化を提供できるようにする。
• エンドツーエンドの検出と LLM ファインチューニングの両方を、同じ意味的アノテーションを用いて一貫性を保つ二重学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 微細な文レベルのテキストプロンプトは、二値ラベルを越えて顔偽造検出モデルの汎化性を向上させ得るか？
• RQ2 視覚的・言語的教師信号を用いたマルチモーダル学習は、偽造検出における解釈性をどのように向上させるか？
• RQ3 提案された PFIG モジュールは、人為的アノテーションなしに、現実的で意味的意味を持つ画像・テキストペアを深偽造データから生成できるか？
• RQ4 VLFFD をマルチモーダル LLM と統合することで、検出性能と推論能力はどの程度向上するか？
• RQ5 C2F 共同学習フレームワークは、粗粒度と微細粒度の両データを効果的に活用し、未観測の偽造タイプに対する耐性を高め得るか？

主な発見

• VLFFD は、未観測のテストデータにおいて、SOTA ベースライン比で AUC が13%向上し、未観測の偽造タイプへの優れた汎化性を示した。
• モデルは真偽の予測に加え、解釈可能な文レベルの説明を通じて、具体的な偽造領域と特徴を特定する。
• PFIG が生成したデータでファインチューニングされた MiniGPT-4 は、元のモデルや粗粒度ラベルでファインチューニングされたモデルとは異なり、正確で詳細な正当化を提供できるようになった。
• C2F 共同学習フレームワークは、粗粒度と微細粒度のデータを効果的に統合し、より強固な特徴学習と視覚的・言語的信号間の整合性向上を実現した。
• PFIG モジュールは、既存のデータセットから意味的意味を持つ多様な画像・テキストペアを効果的に生成し、マルチモーダル学習のためのスケーラブルなデータ拡張を可能にした。
• マルチモーダル LLM との統合は顕著な可能性を示し、ファインチューニング済みモデルは、元の LLM や粗粒度ラベルで学習されたモデルと比較して、精度と推論品質の両面で優れた性能を発揮した。