[論文レビュー] A Convolutional LSTM based Residual Network for Deepfake Video Detection

Shahroz Tariq, Sang Yup Lee+1 more|arXiv (Cornell University)|Sep 16, 2020

Digital Media Forensic Detection参考文献 33被引用数 16

ひとこと要約

本稿では、連続する動画フレームの系列を分析して、時間的不一致を捉えることでディープフェイク動画を検出する、畳み込みLSTMに基づく残差ネットワークであるCLRNetを提案する。微調整に必要なデータを最小限に抑えつつ、さまざまなディープフェイク手法に優れた一般化性能を達成するための転移学習を活用することで、FaceForensics++データセットにおいてゼロショット検出のシナリオで最大97.18%の精度を達成し、最先端のモデルを上回る性能を発揮する。

ABSTRACT

In recent years, deep learning-based video manipulation methods have become widely accessible to masses. With little to no effort, people can easily learn how to generate deepfake videos with only a few victims or target images. This creates a significant social problem for everyone whose photos are publicly available on the Internet, especially on social media websites. Several deep learning-based detection methods have been developed to identify these deepfakes. However, these methods lack generalizability, because they perform well only for a specific type of deepfake method. Therefore, those methods are not transferable to detect other deepfake methods. Also, they do not take advantage of the temporal information of the video. In this paper, we addressed these limitations. We developed a Convolutional LSTM based Residual Network (CLRNet), which takes a sequence of consecutive images as an input from a video to learn the temporal information that helps in detecting unnatural looking artifacts that are present between frames of deepfake videos. We also propose a transfer learning-based approach to generalize different deepfake methods. Through rigorous experimentations using the FaceForensics++ dataset, we showed that our method outperforms five of the previously proposed state-of-the-art deepfake detection methods by better generalizing at detecting different deepfake methods using the same model.

研究の動機と目的

• 未学習のディープフェイク生成技術に対して性能が著しく低下する既存のディープフェイク検出手法の一般化能力の欠如に対処すること。
• 実動画に存在しない微細なアーティファクトを含む、フレーム間の時間的情報を活用することで、検出精度を向上させること。
• 最小限の微調整データで複数のディープフェイクタイプに一般化可能な、転移学習に基づくフレームワークを構築すること。
• さまざまなディープフェイク手法において、ゼロショットおよびフェイントショット検出シナリオで、既存の最先端モデルを上回ること。
• 再訓練を完全に再開する必要がない、新たに出現するディープフェイク生成技術に応用可能なより包括的なディープフェイク検出システムを構築すること。

提案手法

• モデルは、連続する動画フレームの系列における空間的・時間的依存関係をモデル化するため、畳み込みLSTM（ConvLSTM）アーキテクチャを採用し、フレーム間の不一致を捉える。
• 深層ネットワークにおける学習の安定化と勾配の流れの改善を図るため、残差接続を統合し、逐次入力からの特徴抽出を強化する。
• 転移学習戦略として、まず1つのディープフェイクタイプ（例：FaceSwap）で事前学習を行い、その後、他のディープフェイクタイプ（例：Face2Face、Neural Texture）の少数サンプルで微調整する。
• モデルの入力は、動画から抽出された10枚の連続フレームの系列であり、単一フレーム分析では見えない微細な時間的アーティファクトを検出可能にする。
• 学習と評価にはFaceForensics++データセットを用い、プライミティブ、FaceSwap、Face2Face、Neural Texture、Deepfakesに加え、Facebookのチャレンジから得られた追加の実画像および偽物画像を含む。
• 性能評価は、ゼロショットおよびフェイントショットの転移学習設定で実施し、複数のソース・ターゲットの組み合わせに対して、ベースラインの微調整手法（FT）と比較する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープフェイクタイプで学習した検出モデルが、再訓練を伴わず、未学習のディープフェイク手法に効果的に一般化できるか？
• RQ2 連続する動画フレーム間の時間的依存関係をモデル化することで、単一フレーム手法と比較してディープフェイク検出性能が向上するか？
• RQ3 最小限のターゲットデータを用いた転移学習が、多様なディープフェイク生成技術にわたる検出精度に与える影響は何か？
• RQ4 統一されたモデルが、転移学習を用いて同時に複数のディープフェイクタイプで高い性能を達成できるか？
• RQ5 提案されたCLRNetアーキテクチャは、既存の最先端のディープフェイク検出モデルよりも、より頑健で一般化能力に優れているか？

主な発見

• CLRNetは、同じソースで学習した場合、FaceSwapデータセットで94.37%、Deepfakesで92.15%の精度を達成し、ベースラインの微調整手法（45.17%および64.08%）を著しく上回った。
• ゼロショット検出では、Neural Textureで79.75%、DFDで63.12%の精度を達成し、ベースラインの62.09%および51.38%を上回り、優れた一般化性能を示した。
• 1つのターゲットデータセット（例：Face2Face）で10本の動画でのみ微調整した場合、CLRNetは88.35%の精度を達成し、ベースラインの54.92%を上回った。
• マルチターゲット転移学習において、4つのディープフェイクタイプ（DF、F2F、NT、DFD）すべてで高い性能を維持し、それぞれ91.23%、87.50%、91.30%、87.13%の精度を達成し、ソース精度の低下も最小限に抑えられた。
• CLRNetは、すべての10の実験において、3つの転移学習シナリオ（単一ソース→単一ターゲット、マルチソース→単一ターゲット、単一ソース→マルチターゲット）で、ベースラインの微調整手法（FT）を一貫して上回った。
• ConvLSTMによる時間的モデリングが不可欠であることが示された。フレーム単位の手法では、ディープフェイク操作の重要な兆候である微細なフレーム間アーティファクトを検出できなかった。