[論文レビュー] Exploring Spatial-Temporal Features for Deepfake Detection and Localization

Wu Haiwei, Jiantao Zhou+2 more|arXiv (Cornell University)|Oct 28, 2022

Digital Media Forensic Detection被引用数 7

ひとこと要約

本論文は、顔面の微表情の動き特徴を正確に抽出するための新規なアンカーメッシュモーション（AMM）アルゴリズムを用いた空間的・時間的ディープフェイク検出および局所化ネットワーク、ST-DDLを提案する。この手法は、トランスフォーマーに基づく特徴融合注意（FA）モジュールを介して空間的特徴と融合し、動画レベルおよびピクセルレベルの両方で最先端の性能を達成する。新しい公開データセットにおいて97.7%のAUCを記録し、OSN伝送による影響に対しても高い耐性を示す。

ABSTRACT

With the continuous research on Deepfake forensics, recent studies have attempted to provide the fine-grained localization of forgeries, in addition to the coarse classification at the video-level. However, the detection and localization performance of existing Deepfake forensic methods still have plenty of room for further improvement. In this work, we propose a Spatial-Temporal Deepfake Detection and Localization (ST-DDL) network that simultaneously explores spatial and temporal features for detecting and localizing forged regions. Specifically, we design a new Anchor-Mesh Motion (AMM) algorithm to extract temporal (motion) features by modeling the precise geometric movements of the facial micro-expression. Compared with traditional motion extraction methods (e.g., optical flow) designed to simulate large-moving objects, our proposed AMM could better capture the small-displacement facial features. The temporal features and the spatial features are then fused in a Fusion Attention (FA) module based on a Transformer architecture for the eventual Deepfake forensic tasks. The superiority of our ST-DDL network is verified by experimental comparisons with several state-of-the-art competitors, in terms of both video- and pixel-level detection and localization performance. Furthermore, to impel the future development of Deepfake forensics, we build a public forgery dataset consisting of 6000 videos, with many new features such as using widely-used commercial software (e.g., After Effects) for the production, providing online social networks transmitted versions, and splicing multi-source videos. The source code and dataset are available at https://github.com/HighwayWu/ST-DDL.

研究の動機と目的

• 空間的および時間的フォレンジック・キューを統合的にモデル化することで、ディープフェイク検出および局所化を向上させること。
• 従来の動き推定手法がディープフェイク動画における微細な顔面の微表情を捉える能力に限界があるという問題を解決すること。
• 実際のOSN伝送環境下でも性能を維持できる耐障害性の高いフォレンジックシステムを開発すること。
• 商業的ツールを用いて生成されたリアルな、社会的・伝達的特性を持つディープフェイク動画を含む、多様な新しい公開偽造データセットを公開することで、分野の前進を図ること。

提案手法

• 顔面のランドマークをアンカーとして用い、隣接フレーム間の幾何的マッピングを推定することで顔面の動きをモデル化する、アンカーメッシュモーション（AMM）アルゴリズムを提案する。
• 従来のオプティカルフローまたはRAFTなどのディープラーニングベースの動き推定手法よりも、顔面の微小な変位をより正確に捉えるためにメッシュベースのグリッドシステムを採用する。
• トランスフォーマーアーキテクチャに基づく自己注意メカニズムを用い、空間的および時間的特徴を動的に注目し、統合するための特徴融合注意（FA）モジュールを導入する。
• RGBの空間的特徴を処理するブランチと、AMMから得られる動き特徴を処理するブランチを備えた二重ブランチエンコーダーを採用し、FAモジュールを介して特徴を統合する。
• 分類および局所化の両タスクに適したクロスエントロピー損失関数とIoUベースの損失関数を用い、ST-DDLネットワークをエンドツーエンドで学習する。
• 商業的ツール（例：After Effects）を用いて生成された6,000本の動画を含む、新しい公開データセットManualFakeを構築した。このデータセットには、OSN伝送済みバージョンやマルチソース統合コンテンツも含まれる。

実験結果

リサーチクエスチョン

• RQ1 顔面の微表情に特化した動き推定手法は、一般用途のオプティカルフローに比べ、ディープフェイクフォレンジックスにおいて優れた性能を示せるか？
• RQ2 自己注意メカニズムによる空間的および時間的特徴の統合は、微細な偽造局所化にどの程度効果的か？
• RQ3 Facebook や WhatsApp などの損失を伴うOSNを介して伝送されたディープフェイク動画に対し、提案手法はどの程度の性能を維持できるか？
• RQ4 社会的伝達性とマルチソース偽造を含む、より現実的で多様な新しいデータセットは、フォレンジックモデルの耐性評価をより効果的に行えるか？

主な発見

• ST-DDLモデルは、新しいManualFakeデータセットにおいてピクセルレベルの局所化で97.7%のAUCを達成し、最先端の手法を大きく上回る性能を示した。
• AMMアルゴリズムは、RAFT や Farneback よりもより特徴的な動き特徴を提供し、RAFT よりも6.8%のAUC向上を達成し、単純な特徴連結ベースラインより平均3.1%の改善を示した。
• 特徴融合注意（FA）モジュールは、単純な畳み込みによる特徴連結に比べ、平均3.1%の性能向上をもたらし、特徴間の相互作用における有効性を実証した。
• モデルはOSN伝送済み動画に対しても強く耐性を示し、ビットレートが高く、損失処理が少ないWhatsAppで最も高い性能を発揮した。
• アブレーションスタディの結果、FAによる空間的および時間的特徴の統合が最良の性能をもたらし、RGBのみまたは動き特徴のみのバージョンは性能が劣ることが確認された。
• 商業的ソフトウェアで生成され、OSN伝送を経験した動画を含む新しいManualFakeデータセットは、フォレンジックモデルの評価をより現実的に行えるようにした。