[論文レビュー] Deepfake Detection Scheme Based on Vision Transformer and Distillation

Young Jin Heo, Young Ju Choi+2 more|arXiv (Cornell University)|Apr 3, 2021

Digital Media Forensic Detection参考文献 45被引用数 41

ひとこと要約

本論文は、パッチ埋め込みとCNN特徴を融合し、EfficientNetからのディスティレーションを用いて堅牢性と精度を向上させるVision Transformerベースのディープフェイク検出器を提案し、DFDC全データセットでアンサンブルなしで従来のSOTAを上回るAUCとF1を達成した。

ABSTRACT

Deepfake is the manipulated video made with a generative deep learning technique such as Generative Adversarial Networks (GANs) or Auto Encoder that anyone can utilize. Recently, with the increase of Deepfake videos, some classifiers consisting of the convolutional neural network that can distinguish fake videos as well as deepfake datasets have been actively created. However, the previous studies based on the CNN structure have the problem of not only overfitting, but also considerable misjudging fake video as real ones. In this paper, we propose a Vision Transformer model with distillation methodology for detecting fake videos. We design that a CNN features and patch-based positioning model learns to interact with all positions to find the artifact region for solving false negative problem. Through comparative analysis on Deepfake Detection (DFDC) Dataset, we verify that the proposed scheme with patch embedding as input outperforms the state-of-the-art using the combined CNN features. Without ensemble technique, our model obtains 0.978 of AUC and 91.9 of f1 score, while previous SOTA model yields 0.972 of AUC and 90.6 of f1 score on the same condition.

研究の動機と目的

• Robustな深層偽造検出をCNNベース手法の過学習の中で動機づける。
• Vision Transformerを活用してパッチ間のグローバルコンテキストとアーティファクトを捉える。
• パッチ埋め込みとCNN特徴を統合して manipulated region の検出を向上させる。
• 強力な教師モデル（EfficientNet-B7）からの蒸留を用いて過学習を抑制し一般化を高める。

提案手法

• 入力フレームをパッチに分割しパッチ埋め込みを得る。
• パッチ埋め込みをEfficientNetからのCNN特徴と組み合わせて入力トークンを形成する。
• クラスと蒸留トークンを追加し、Transformerエンコーダ（MSA + GELU MLP）で処理する。
• 訓練時に蒸留トークンを蒸留教師モデルが導く蒸留メカニズムを用いる。
• クラスと蒸留出力の BCE をバランスさせる結合損失で訓練する（λ = 0.5）。
• DFDCで事前学習を行い、パッチサイズ32、埋め込み次元1024、16ヘッド、24層のTransformerで訓練する。

実験結果

リサーチクエスチョン

• RQ1 Vision Transformer with patch embedding and CNN feature fusionは、アンサンブル手法を用いずにDFDC全データセットでCNNベースの検出器を上回ることができるか。
• RQ2 EfficientNet-B7からの蒸留は、Transformerベースの検出器の深屋偽造検出の堅牢性を改善し過学習を抑制できるか。
• RQ3 提案手法は同条件でのAUCとF1で先行SOTAと比較してどうか。

主な発見

• DFDC全データセットでROC-AUC 0.978を達成し、SOTAの0.972を上回る。
• 同じ閾値（0.55）でF1スコア90.6を上回る91.9を達成。
• 偽動画に対するロバスト性が高く、検出の識別性が向上し、検証時の偽ラスト低下と実データロスの比較で示される。
• 蒸留トークンはテスト時にクラス・トークンを上回り検出の改善に寄与する。