[論文レビュー] Deepfake Detection using Spatiotemporal Convolutional Networks

Oscar Lima, Sean Franklin+3 more|arXiv (Cornell University)|Jun 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 63

ひとこと要約

本論文は Celeb-DF v2 における Deepfake 検出のための時空間畳み込みネットワークを評価し、時間情報を活用する動画ベースの手法がフレームベースのベースラインを上回り、テストされたモデルの中で R3D が最高性能を達成したことを示している。

ABSTRACT

Better generative models and larger datasets have led to more realistic fake videos that can fool the human eye but produce temporal and spatial artifacts that deep learning approaches can detect. Most current Deepfake detection methods only use individual video frames and therefore fail to learn from temporal information. We created a benchmark of the performance of spatiotemporal convolutional methods using the Celeb-DF dataset. Our methods outperformed state-of-the-art frame-based detection methods. Code for our paper is publicly available at https://github.com/oidelima/Deepfake-Detection.

研究の動機と目的

• フレームごとではなく時間情報を用いて Deepfake を検出する必要性を動機づける。
• Celeb-DF v2 データセット上で複数の時空間アーキテクチャをベンチマークする。
• 偽動画検出のために時間的特徴を効果的に活用するアーキテクチャを特定する。

提案手法

• RetinaFace を用いた顔裁切により cropped-face video clips を作成して前処理を行う。
• Kinetics で pretrained された複数の時空間ネット (例: R3D, MC3, R(2+1)D, I3D) を評価し、フレームベースのベースラインと比較する。
• 各モデルを Celeb-DF v2 で訓練し、ランダムクロップや時間的ジッタリングなどのデータ拡張を行う。
• モーメンタム 0.9、ウェイト減衰 0.0005、学習率 0.001 を 10 エポックごとに 10 倍減衰させる SGD を使用。
• ROC-AUC と top-1 accuracy で性能を評価し、Celeb-DF テストセットの結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 時間情報をモデル化する時空間畳み込みネットワークは、Celeb-DF v2 におけるフレームベースの Deepfake 検出器を上回るか？
• RQ2 どの時空間アーキテクチャ（R3D, MC3, R2+1D, I3D）が Deepfake 検出の精度と効率の最良のトレードオフを提供するか？
• RQ3 アクション認識データ（Kinetics）での事前学習が Celeb-DF v2 での Deepfake 検出性能にどう影響するか？

主な発見

手法	ROC-AUC %	Accuracy %
RCN	74.87	76.25
R2Plus1D	99.43	98.07
I3D	97.59	92.28
MC3	99.30	97.49
R3D	99.73	98.26

• 時空間モデルは Celeb-DF v2 で ROC-AUC と精度の点でフレームベースのベースラインを上回る。
• R3D は評価された時空間モデルの中で最大の ROC-AUC と accuracy を達成（99.73% ROC-AUC、98.26% accuracy）。
• I3D と MC3 も ROC-AUC が約 97–99%、高い精度で強力な性能を示す。
• R2Plus1D は ROC-AUC が 99.43%、accuracy が 98.07% を達成。
• すべての結果は、Celeb-DF v2 のような難易度の高いデータセットで時間的モデリングが Deepfake 検出に検出可能な利点を提供することを示している。