[論文レビュー] Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection

Juan Hu, Xin Liao+5 more|arXiv (Cornell University)|Mar 3, 2023

Digital Media Forensic Detection被引用数 6

ひとこと要約

Moverは、顔の特定部位の一貫性をマスキングと再構成によって活用する2段階のディープフェイク検出手法を提案する。まず、実際の顔画像上でマスク付き自己符号化器（MAE）を事前学習し、部位レベルの一貫性を学習する。その後、不一致検出用に微調整されたネットワークと、再構成に基づくマッピングネットワークを備えた二重ネットワークを用いて、異なるデータセットにわたり高い耐性を持つリアルとフェイク動画の区別を実現する。

ABSTRACT

Deepfake techniques have been widely used for malicious purposes, prompting extensive research interest in developing Deepfake detection methods. Deepfake manipulations typically involve tampering with facial parts, which can result in inconsistencies across different parts of the face. For instance, Deepfake techniques may change smiling lips to an upset lip, while the eyes remain smiling. Existing detection methods depend on specific indicators of forgery, which tend to disappear as the forgery patterns are improved. To address the limitation, we propose Mover, a new Deepfake detection model that exploits unspecific facial part inconsistencies, which are inevitable weaknesses of Deepfake videos. Mover randomly masks regions of interest (ROIs) and recovers faces to learn unspecific features, which makes it difficult for fake faces to be recovered, while real faces can be easily recovered. Specifically, given a real face image, we first pretrain a masked autoencoder to learn facial part consistency by dividing faces into three parts and randomly masking ROIs, which are then recovered based on the unmasked facial parts. Furthermore, to maximize the discrepancy between real and fake videos, we propose a novel model with dual networks that utilize the pretrained encoder and masked autoencoder, respectively. 1) The pretrained encoder is finetuned for capturing the encoding of inconsistent information in the given video. 2) The pretrained masked autoencoder is utilized for mapping faces and distinguishing real and fake videos. Our extensive experiments on standard benchmarks demonstrate that Mover is highly effective.

研究の動機と目的

• 既存のディープフェイク検出手法が特定の改ざんパターンや明示的な兆候に依存するという限界を是正する。これは、新しい改ざん技術に直面した際に性能が低下する要因となる。
• 実際の人間の顔に内在する顔の部位一貫性（例：目、口、眉毛の間の調和の取れた表情）を、普遍的で特定のパターンに依存しない信号として活用する。
• 手動で設計された特徴量や特定の改ざんアーチファクトに依存しないようにすることで、未観測のデータセットや改ざん手法に対しても良好な一般化性能を実現する手法を開発する。
• メタラーニングと顔再構成を活用して、リアルとフェイクの顔の差を強調することで、クロスデータセット検出性能を向上させる。

提案手法

• 顔を意味的領域（例：目、口など）に分割し、ランダムに領域の一部（ROIs）をマスキングした上で、マスキングされていない部分を使って再構成することで、顔の部位一貫性を学習する。このプロセスで、実際の顔画像上でマスク付き自己符号化器（MAE）を事前学習する。
• 二重ネットワークアーキテクチャを採用：一方のブランチでは、事前学習済みエンコーダーを微調整し、動画フレーム内の不一致特徴を検出する。もう一方のブランチでは、事前学習済みMAEを用いて顔を再構成し、動画を分類する。
• マッピングネットワークにメタラーニングモジュールを統合し、学習中にドメインシフトを模擬することで、ドメイン一般化性能を向上させる。
• マッピングネットワークにおける顔再構成をキーコンポーネントとして採用し、リアルとフェイクの顔の差を強調することで、不一致の検出を容易にする。
• クラスアクティベーションマッピング（CAM）を用いて注視度を可視化し、モデルがフェイク顔の不一致領域、特にマスキング領域に注目していることを確認する。
• 2段階でエンドツーエンドに学習する：まず、実画像のみで事前学習を行い、次にリアルとフェイクの動画データで微調整することで、識別性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 改ざんパターンが進化しても有効な、普遍的で特定のパターンに依存しない信号として、顔の部位一貫性がディープフェイク検出に適しているか？
• RQ2 全体顔の再構成と比較して、意味的領域に基づくマスキングと再構成は、検出の耐性をどのように向上させるか？
• RQ3 不一致検出と再構成に基づくマッピングを組み合わせた二重ネットワーク設計は、検出性能とクロスデータセット一般化性能をどの程度向上させるか？
• RQ4 再構成ブランチにメタラーニングを統合することで、未観測のディープフェイクデータセットに対するドメイン一般化性能が向上するか？
• RQ5 顔再構成は、顔の部位の不一致が微細な場合でも、リアルとフェイクの顔の差を明確に拡大できるか？

主な発見

• Moverは標準ベンチマークで最先端の性能を達成し、イントラおよびクロスデータセット検出設定の両方で、既存手法を上回る。
• アブレーションスタディの結果、ファインチューニングネットワークまたはマッピングネットワークのいずれかを削除すると性能が著しく低下し、両ブランチが最適な検出に不可欠であることが確認された。
• メタラーニングモジュールにより、学習中にドメインシフトを模擬することで、クロスデータセット検出性能が向上し、非メタラーニングバージョンより優れた一般化性能を示した。
• マッピングネットワークにおける顔再構成により、リアルとフェイクの顔の差が強調され、再構成なしの手法に比べて明確な性能向上が得られた。
• 可視化結果から、モデルはフェイク顔のマスキング領域に注目して活性化している一方、リアル顔では背景領域に注目しており、部位レベルの調和に敏感であることが確認された。
• RECCE や元の MAE と比較して、Mover はより明確で意味的に誘導された再構成を生成し、特に可視化のイエローボックス領域で不一致領域を顕著に強調している。