[論文レビュー] A Hybrid CNN-LSTM model for Video Deepfake Detection by Leveraging Optical Flow Features

Pallabi Saikia, Dhwani Dholaria+3 more|arXiv (Cornell University)|Jul 28, 2022

Digital Media Forensic Detection被引用数 5

ひとこと要約

本稿では、空間的および時間的不一致を捉えるために、光学フロー特徴を組み込んだハイブリッドCNN-LSTMモデルを提案し、深く偽造された動画を検出する。光学フローを用いて運動ダイナミクスを抽出し、それをCNN-LSTMと組み合わせることで分類を実行し、FF++では91.21%、Celeb-DFでは79.49%の精度を達成した。これにより、計算負荷を低減しつつ、70フレーム未満の短い動画でも早期検出が可能となった。

ABSTRACT

Deepfakes are the synthesized digital media in order to create ultra-realistic fake videos to trick the spectator. Deep generative algorithms, such as, Generative Adversarial Networks(GAN) are widely used to accomplish such tasks. This approach synthesizes pseudo-realistic contents that are very difficult to distinguish by traditional detection methods. In most cases, Convolutional Neural Network(CNN) based discriminators are being used for detecting such synthesized media. However, it emphasise primarily on the spatial attributes of individual video frames, thereby fail to learn the temporal information from their inter-frame relations. In this paper, we leveraged an optical flow based feature extraction approach to extract the temporal features, which are then fed to a hybrid model for classification. This hybrid model is based on the combination of CNN and recurrent neural network (RNN) architectures. The hybrid model provides effective performance on open source data-sets such as, DFDC, FF++ and Celeb-DF. This proposed method shows an accuracy of 66.26%, 91.21% and 79.49% in DFDC, FF++, and Celeb-DF respectively with a very reduced No of sample size of approx 100 samples(frames). This promises early detection of fake contents compared to existing modalities.

研究の動機と目的

• 既存の深く偽造された動画検出手法が主に空間的特徴に注目し、動画シーケンス内の時間的不一致を無視するという限界に対処すること。
• 特に深く偽造動画に共通する顔の運動異常を捉えることで、時間的変動を記述する光学フロー特徴を統合し、検出性能を向上させること。
• 限定的な動画フレーム数（≤100）で動作可能な軽量で計算効率の高いモデルを構築し、早期検出を可能とすること。
• DFDC、FF++、Celeb-DFといった多様な深く偽造動画データセットにおいて、低フレーム数条件下でのモデルの頑健性を評価すること。
• 時間的モデリングとして光学フローを用いることで、空間的特徴のみのモデルに比べて検出精度が顕著に向上することを示すこと。

提案手法

• 時間的不一致を捉えるために、従来のコンピュータビジョン手法を用いて動画フレーム間のピクセルレベルの運動を測定し、光学フローを抽出する。
• 各フレームからの空間的特徴を事前学習済みのVGG16 CNNで抽出し、その後で光学フロー特徴を抽出して運動パターンを表現する。
• 空間的特徴と運動特徴を連結し、順序依存性をモデル化し、時間的異常を検出するため、スタックドLSTMネットワークに供給する。
• ハイブリッドCNN-LSTMアーキテクチャを動画クリップ上でエンドツーエンドに訓練し、リアル対フェイク動画の分類を最適化するための損失逆伝播を実行する。
• 複数の指標（正解率、適合率、再現率、F1スコア、AUC）を用いて、DFDC、FF++、Celeb-DFの3つのベンチマークデータセットでモデルを評価する。
• 計算コストを低減するため、フレームのサブセット（≤100）を用いた実験を実施し、フレーム数の増加に伴う性能向上をアブレーションスタディで示す。

実験結果

リサーチクエスチョン

• RQ1 空間モデルが見逃すインターフレーム間の運動不一致を捉えることで、光学フロー特徴が深く偽造動画検出性能を向上させることができるか？
• RQ2 CNNとLSTMアーキテクチャの統合は、単独モデルに比べて深く偽造動画検出における時間的モデリングをどの程度向上させるか？
• RQ3 ハイブリッドCNN-LSTMモデルは、限定的な動画フレーム数でどの程度高い検出精度を達成できるか？
• RQ4 多様な深く偽造動画データセットにおいて、本手法は最先端の手法と比較して正解率、F1スコア、AUCの観点で優れているか？
• RQ5 光学フローの使用により、短い動画クリップでも効果的な分析が可能となり、深く偽造動画の早期検出が可能になるか？

主な発見

• 本モデルは、1動画あたり最大70フレームでFF++データセットで91.21%の正解率、91.20%のF1スコア、0.91のAUCを達成した。
• Celeb-DFデータセットでは、最大70フレームで79.49%の正解率、78.80%のF1スコア、0.79のAUCを達成した。
• DFDCデータセットでは、最大40フレームで66.26%の正解率、65.35%のF1スコア、0.66のAUCを達成した。
• 従来の研究で一般的に使用されるフレーム数よりも顕著に少ないフレーム数でも、F1スコアやAUCといった主要指標で最先端の手法を上回るか同等の性能を示した。
• 光学フロー特徴の統合により、空間的特徴のみのモデルでは捉えられない運動アーチファクトを捉えることができ、検出性能が顕著に向上した。
• 短い動画クリップでも高い性能を維持するため、計算要求を低減しつつ、早期検出の実現可能性が示された。