[論文レビュー] Spatiotemporal Inconsistency Learning for DeepFake Video Detection

Zhihao Gu, Yang Chen+5 more|arXiv (Cornell University)|Sep 4, 2021

Face recognition and analysis参考文献 38被引用数 7

ひとこと要約

本稿では、フレーム内における空間的不一致と隣接フレーム間の時間的不一致を、水平および垂直方向の時間的差分演算を用いて明示的にモデル化する、DeepFake動画検出のための新規な空間時間的不一致学習（STIL）ブロックを提案する。STILブロックは、空間的不一致モジュール（SIM）、直交的方向モデリングを有する時間的不一致モジュール（TIM）、および特徴統合のための情報補完モジュール（ISM）を統合しており、フレームベースまたは標準の動画ベース手法が見過ごしがちな偽造痕跡を効果的に捉えることで、複数のベンチマークで最先端の性能を達成している。

ABSTRACT

The rapid development of facial manipulation techniques has aroused public concerns in recent years. Following the success of deep learning, existing methods always formulate DeepFake video detection as a binary classification problem and develop frame-based and video-based solutions. However, little attention has been paid to capturing the spatial-temporal inconsistency in forged videos. To address this issue, we term this task as a Spatial-Temporal Inconsistency Learning (STIL) process and instantiate it into a novel STIL block, which consists of a Spatial Inconsistency Module (SIM), a Temporal Inconsistency Module (TIM), and an Information Supplement Module (ISM). Specifically, we present a novel temporal modeling paradigm in TIM by exploiting the temporal difference over adjacent frames along with both horizontal and vertical directions. And the ISM simultaneously utilizes the spatial information from SIM and temporal information from TIM to establish a more comprehensive spatial-temporal representation. Moreover, our STIL block is flexible and could be plugged into existing 2D CNNs. Extensive experiments and visualizations are presented to demonstrate the effectiveness of our method against the state-of-the-art competitors.

研究の動機と目的

• 既存のDeepFake検出手法における空間的および時間的不一致の明示的モデリングの欠如に対処すること。
• 顔のジャッキングや不連続な動きといった、視覚的に不自然な領域を含む、フレーム間での偽造痕跡を捉えることで検出性能を向上させること。
• 2次元畳み込みニューラルネットワーク（2D CNNs）と互換性があり、空間的および時間的特徴学習を強化できる柔軟でプラグイン可能なモジュールを設計すること。
• 直交的な時間的差分演算（水平および垂直方向）が、偽造動画における時間的不一致の検出に寄与することを検証すること。
• 空間的および時間的不一致の統合モデリングが、より強固で包括的な偽造表現をもたらすことを示すこと。

提案手法

• 各フレーム内の局所的な画像レベルのアーティファクトを検出するための空間的不一致モジュール（SIM）を備えた、新規なSTILブロックを提案する。
• 隣接フレーム間の水平および垂直方向に沿った時間的差分を計算することで、運動の不連続性を検出する時間的不一致モジュール（TIM）を導入する。
• SIMが空間的不一致を処理し、TIMが時間的不一致を並列に処理する二重ストリームアーキテクチャを採用する。
• SIMとTIMからの特徴を統合・強化する情報補完モジュール（ISM）を用い、より豊かな空間時間的表現を実現する。
• 勾配に基づく可視化（Grad-CAM）を用いて注目マップを解釈し、モデルが偽造領域に注目していることを検証する。
• フレームレベルのアノテーションを一切使用せず、動画レベルのラベルのみを用いた学習パラダイムを採用し、エンド・ツー・エンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的不一致の明示的モデリングが、フレームベースまたは標準の動画ベース手法を上回るDeepFake検出性能を向上させ得るか？
• RQ2 直交的な時間的差分演算（水平および垂直方向）を用いることで、偽造動画における時間的不一致の検出が向上するか？
• RQ3 ISMによる空間的および時間的特徴の統合が、全体の検出性能にどのように寄与するか？
• RQ4 STILブロックは、DeepFake、FaceSwap、Face2Face、NeuralTexturesといった多様な顔の改ざん技術に一般化可能か？
• RQ5 各構成要素（SIM、TIM、ISM）が最終的な検出性能に果たす寄与度は何か？また、異なる統合戦略が結果に与える影響は？

主な発見

• STILブロックは、4つの主要なDeepFake検出ベンチマークで最先端の性能を達成し、既存のフレームベースおよび動画ベース手法を上回っている。
• アブレーションスタディの結果、TIMにおける水平および垂直方向の両方の時間的差分演算を用いることで、単一方向または代替の統合戦略に比べて優れた性能が得られることを確認した。
• ISMによる空間的および時間的特徴の統合は、検出精度を顕著に向上させ、統合的な空間時間的モデリングの利点を示している。
• 可視化結果から、STILブロックが異なる改ざんタイプにおいて偽造領域を効果的に局在化しており、注目マップが既知の偽造パターンとよく一致していることがわかった。
• NeuralTextures や Face2Face など、顔の一部のみを改ざんする手法に対しても、一貫した性能向上が得られた。
• TIMにおける水平および垂直方向の注目マップを単純に平均することで、シグモイド関数を適用する前に和を取るよりも優れた結果が得られ、最適な統合戦略であることが示された。