[論文レビュー] Spatio-temporal Features for Generalized Detection of Deepfake Videos

Ipek Ganiyusufoglu, Minh Ngo+3 more|arXiv (Cornell University)|Oct 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 7

ひとこと要約

本稿では、一般化されたディープフェイク動画検出のための空間時間的特徴をモデル化する3次元畳み込みニューラルネットワーク（3D CNNs）を提案する。この特徴が、画像レベルや順序付きエンコーダーと比較して、多様なディープフェイク手法に共通する不整合をよりよく捉えられることを示している。本手法は、RNN や 2D CNN が見逃す局所的な空間時間的乱れを検出できることを踏まえ、未観測のディープフェイク技術への一般化性能が著しく優れている。

ABSTRACT

For deepfake detection, video-level detectors have not been explored as extensively as image-level detectors, which do not exploit temporal data. In this paper, we empirically show that existing approaches on image and sequence classifiers generalize poorly to new manipulation techniques. To this end, we propose spatio-temporal features, modeled by 3D CNNs, to extend the generalization capabilities to detect new sorts of deepfake videos. We show that spatial features learn distinct deepfake-method-specific attributes, while spatio-temporal features capture shared attributes between deepfake methods. We provide an in-depth analysis of how the sequential and spatio-temporal video encoders are utilizing temporal information using DFDC dataset arXiv:2006.07397. Thus, we unravel that our approach captures local spatio-temporal relations and inconsistencies in the deepfake videos while existing sequence encoders are indifferent to it. Through large scale experiments conducted on the FaceForensics++ arXiv:1901.08971 and Deeper Forensics arXiv:2001.03024 datasets, we show that our approach outperforms existing methods in terms of generalization capabilities.

研究の動機と目的

• 既存の画像レベルおよび順序付きディープフェイク検出器が、新たな操作手法に一般化できないという問題に対処すること。
• 3D CNN を用いた空間時間的モデリングが、多様なディープフェイク生成手法にわたる検出のロバスト性を向上させることを調査すること。
• 3D CNN と RNN の間で、ディープフェイク動画の空間時間的不整合を検出する際の時間的順序への感受性にどのような違いがあるかを分析すること。
• 空間時間的特徴が、メソッド固有の空間特徴とは異なり、さまざまなディープフェイクタイプ間で共通する属性を捉えられることを検証すること。
• 3D CNN がフレーム順序や局所的不整合に敏感であるのに対し、RNN がこのような時間的不整合に無関心であることを実証すること。

提案手法

• 本手法は、3次元カーネルを用いて空間と時間の両方を畳み込むことで、動画クリップから空間的および時間的表現を共同で学習する3D CNN（R3D）を採用する。
• 2D CNN（画像レベル）と RNN（順序レベル）を動画エンコーダーとして比較し、空間特徴抽出のバックボーンに EfficientNet-B3 を使用する。
• フレームの反転、シャッフル、再順序化といった制御されたデータオーグメンテーションを用いて、モデルの時間的順序および空間時間的相関への感受性を評価する。
• Grad-CAM 視覚化を用いて注目マップを分析し、3D CNN がディープフェイク動画の局所的な空間時間的不整合に注目していることを確認する。
• FF++ および Deeper Forensics データセットを用いて、未観測のディープフェイク手法への性能と一般化能力を評価する実験を実施する。
• ログロスを指標として用い、モデルの信頼性とシーケンス変更への感受性を定量化する。高いロスは、不整合の検出能が優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 3D CNN が空間時間的特徴をモデリングすることで、画像レベルや順序付きエンコーダーと比較して、未観測のディープフェイク生成手法への一般化性能が向上するか？
• RQ2 3D CNN と RNN は、ディープフェイク動画における時間的順序および局所的な空間時間的不整合に対して、感受性にどのような差を示すか？
• RQ3 空間時間的特徴は、さまざまなディープフェイク手法間で共通する属性を捉えられるが、空間特徴はメソッド固有のものにとどまるか？
• RQ4 3D畳み込みの階層的処理が、フレームの不整合やシャッフルに対してどの程度モデルのロバスト性を高めているか？
• RQ5 2D CNN バックボーンから高レベル特徴を用いているにもかかわらず、なぜ RNN はディープフェイクアーティファクトを検出できないのか？

主な発見

• R3D モデルは、順序が不整合でシャッフルされたシーケンスにおいて、RNN よりも顕著に低いログロスを達成しており、時間的順序および局所的不整合への強い感受性を示している。
• R3D は、毎秒のフレームを反転させるとログロスが1.5倍に増加するが、RNN はほとんど影響を受けない。これは、R3D が空間時間的相関に依存していることを裏付けている。
• フレーム反転によって R3D の予測が本物から偽物にシフトする。これは、不整合領域にアサートされ、局所的な不整合を検出していることを確認している。
• RNN はすべてのシーケンス変更において類似したログロスを示し、時間的順序や空間時間的相関の破壊に対して無関心であることが示された。
• 2D CNN からの空間特徴はメソッド固有のアーティファクトを捉えるが、3D CNN からの空間時間的特徴は、多様なディープフェイク手法に共通する不整合を同定できる。
• FF++ および Deeper Forensics データセットにおいて、3D CNN は 2D CNN および RNN のベースラインを上回り、未観測のディープフェイク手法への一般化性能が優れている。