[論文レビュー] Multimodal Graph Learning for Deepfake Detection

Zhiyuan Yan, Peng Sun+5 more|arXiv (Cornell University)|Sep 12, 2022

Emotion and Mood Recognition被引用数 4

ひとこと要約

本論文では、空間的・周波数的・ランドマーク・時間的特徴をグラフニューラルネットワーク（GNN）と適応的融合モジュールを用いて統合する、マルチモーダルグラフ学習（MGL）という新しい深フェイク検出フレームワークを提案する。顔のランドマークとフレームレベルの不一致をグラフとしてモデル化し、適応的ゲーティングを備えた双方向クロスモーダルトランスフォーマーを用いることで、FF++、CelebDF、DFDベンチマークにおいて最先端の汎化性能と耐性を達成し、未観測の改ざんタイプの検出や外部の摂動に対する耐性において、既存手法を上回る性能を発揮する。

ABSTRACT

Existing deepfake detectors face several challenges in achieving robustness and generalization. One of the primary reasons is their limited ability to extract relevant information from forgery videos, especially in the presence of various artifacts such as spatial, frequency, temporal, and landmark mismatches. Current detectors rely on pixel-level features that are easily affected by unknown disturbances or facial landmarks that do not provide sufficient information. Furthermore, most detectors cannot utilize information from multiple domains for detection, leading to limited effectiveness in identifying deepfake videos. To address these limitations, we propose a novel framework, namely Multimodal Graph Learning (MGL) that leverages information from multiple modalities using two GNNs and several multimodal fusion modules. At the frame level, we employ a bi-directional cross-modal transformer and an adaptive gating mechanism to combine the features from the spatial and frequency domains with the geometric-enhanced landmark features captured by a GNN. At the video level, we use a Graph Attention Network (GAT) to represent each frame in a video as a node in a graph and encode temporal information into the edges of the graph to extract temporal inconsistency between frames. Our proposed method aims to effectively identify and utilize distinguishing features for deepfake detection. We evaluate the effectiveness of our method through extensive experiments on widely-used benchmarks and demonstrate that our method outperforms the state-of-the-art detectors in terms of generalization ability and robustness against unknown disturbances.

研究の動機と目的

• 単一モダリティ・ピクセルレベル特徴に依存する既存の深フェイク検出器が示す限界的な汎化性能と耐性の改善を図ること。
• マルチモーダルでグラフベースの表現を用いることで、メソッド固有のアーティファクトや改ざんに無関係なテクスチャへの過学習を克服すること。
• グラフニューラルネットワークを用いて顔のランドマークにおける幾何的関係とフレーム間の時間的不一致をモデル化することで、検出性能の向上を図ること。
• コンテンツの関連性に基づいて空間的および周波数的特徴を動的に重み付ける適応的融合メカニズムの開発。
• 局所的（フレームレベル）およびグローバル（動画レベル）な改ざんパターン認識にグラフベースモデリングの有効性を実証すること。

提案手法

• フレームレベルで空間的および周波数ドメイン特徴を統合するため、双方向クロスモーダルトランスフォーマーと適応的ゲーティングを用いた空間周波数統合（SFF）モジュールを採用する。
• 顔のランドマークをグラフとしてエンコードするため、グラフ自己注意ネットワーク（GAT）を用いたランドマークグラフ学習（LGL）モジュールを設計する。
• 各フレームをノードとし、学習された注意重みによって時間的不一致をエンコードする動画レベルのグラフを構築する時間的グラフ学習（TGL）モジュールを導入する。
• FM（周波数モジュール）、LGL、TGL、SFFモジュールからの特徴を統合し、最終分類のための統一された表現を生成する。
• ランドマークの幾何的構造と時間的ダイナミクスの両方を同時にモデル化できる2つのGNNを用いることで、局所的およびグローバルな改ざんパターンの共同モデリングを実現する。
• 適応的ゲーティングとクロスアテンションメカニズムにより、動的特徴重み付けが可能となり、アーティファクト分布の変動に対する耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 座標の単純な系列を超えて、顔のランドマークのグラフベースモデリングが深フェイク検出性能を向上させ得るか？
• RQ2 学習されたエッジ表現を用いたグラフベースアプローチで、フレーム間の時間的不一致を効果的に捉えられるか？
• RQ3 空間的および周波数的特徴の適応的統合が、固定または単方向統合戦略を上回る性能を発揮するか？
• RQ4 マルチモーダルグラフ学習フレームワークが、多様な深フェイク改ざん手法や未観測データセットへの汎化を向上させ得るか？
• RQ5 空間的・周波数的・ランドマーク的・時間的特徴の複数モダリティを統合することで、照明変化やノイズなどの外部摂動に対する耐性がどの程度向上するか？

主な発見

• 提案されたMGLフレームワークは、FF++、CelebDF、DFDベンチマークで最先端の性能を達成し、未観測の改ざん手法への汎化性能が優れていることが示された。
• 双方向アテンションと適応的ゲーティングを備えたSFFモジュールは、線形加算やM2TR統合を上回り、動的特徴重み付けによる検出精度の向上を実証した。
• LGLモジュールは顔のランドマーク間の幾何的関係をモデル化することで、顕著な性能向上を達成し、ベースラインの座標ベースランドマークエンコーディングを上回った。
• TGLモジュールはフレーム間の時間的不一致を効果的に捉えており、フレームレベルの改ざんアーティファクト検出に寄与した。
• 広範なアブレーションスタディにより、FM、LGL、TGL、SFFのすべてのモジュールが最終検出性能に正の寄与をしていることが確認された。
• 照明の変化やノイズなどの外部摂動に対しても、ベースラインモデルと比較して優れた耐性を示し、強靭性の向上が裏付けられた。