[論文レビュー] TALL: Thumbnail Layout for Deepfake Video Detection

Yuting Xu, Jian Liang+4 more|arXiv (Cornell University)|Jul 14, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、時間的・空間的依存関係を保持するように連続フレームをマスクおよび再配置することで、固定レイアウトのサムネイルに動画クリップを変換するモデルに依存しない手法であるThumbnail Layout (TALL) を提案する。TALL を用いた Swin Transformer をベースとする TALL-Swin は、挑戦的なクロスデータセットベンチマーク FaceForensics++ → Celeb-DF で 90.79% AUC を達成し、計算コストを最小限に抑えながら、先行研究を上回る性能を発揮する。

ABSTRACT

The growing threats of deepfakes to society and cybersecurity have raised enormous public concerns, and increasing efforts have been devoted to this critical topic of deepfake video detection. Existing video methods achieve good performance but are computationally intensive. This paper introduces a simple yet effective strategy named Thumbnail Layout (TALL), which transforms a video clip into a pre-defined layout to realize the preservation of spatial and temporal dependencies. Specifically, consecutive frames are masked in a fixed position in each frame to improve generalization, then resized to sub-images and rearranged into a pre-defined layout as the thumbnail. TALL is model-agnostic and extremely simple by only modifying a few lines of code. Inspired by the success of vision transformers, we incorporate TALL into Swin Transformer, forming an efficient and effective method TALL-Swin. Extensive experiments on intra-dataset and cross-dataset validate the validity and superiority of TALL and SOTA TALL-Swin. TALL-Swin achieves 90.79$\%$ AUC on the challenging cross-dataset task, FaceForensics++ $ o$ Celeb-DF. The code is available at https://github.com/rainy-xu/TALL4Deepfake.

研究の動機と目的

• 既存の動画ベースのフェイク動画検出手法の高い計算コストを低減しつつ、強力な一般化性能を維持すること。
• パラメータや計算量を追加せずに、画像ベースのバックボーンに時間的モデリングを単純に統合する方法を検討すること。
• 特にクロスデータセット一般化の設定において、多様なフェイク動画データセットにわたる検出のロバスト性を向上させること。
• フェイク動画における空間的・時間的不整合が、固定レイアウトのサムネイル表現によって効果的に捉えられることを検証すること。

提案手法

• 一般化を高めるために、固定位置で連続する動画フレームをマスクする。
• 各フレームをサブ画像にリサイズし、事前に定義されたサムネイルレイアウトに配置することで、空間的および時間的構造を保持する。
• モデルに依存しない手法であり、コード変更が最小限で、任意の画像バックボーンとの統合が可能である。
• TALL とスウィン変換器を組み合わせて TALL-Swin を構築し、自己注意機構を活用して効果的な空間的・時間的特徴抽出を実現する。
• 4つのサブ画像にマスクを適用する、新たなデータ拡張戦略を導入し、モデルの一般化性能を向上させる。
• ウィンドウサイズとフレーム順序を変化させることで、性能と時間的モデリング能力の最適化を検証する。

実験結果

リサーチクエスチョン

• RQ1 動画クリップを単純に固定レイアウトに変換することで、フェイク動画検出に必要な空間的・時間的不整合を保持できるか？
• RQ2 標準的な画像ベース手法と比較して、TALL は未学習のフェイク動画データセットへの一般化性能を向上させるか？
• RQ3 バックボーンアーキテクチャの選択が、特に時間的モデリングの観点から TALL の性能に与える影響は何か？
• RQ4 マスク配置、サブ画像サイズ、サムネイル順序の最適な設定は何か？検出精度を最大化するために最適化できるか？
• RQ5 TALL は 3D-CNN や動画変換器と比較して、顕著に低い FLOPs で最先端の性能を達成できるか？

主な発見

• TALL-Swin は、クロスデータセットベンチマーク FaceForensics++ → Celeb-DF で 90.79% AUC を達成し、先行する最先端手法を上回る性能を発揮した。
• サムネイル内でのフレームを順方向に配置したモデルが最も優れた性能を示し、時間的依存関係の有効な学習が示された。
• 提案されたマスク拡張戦略は、標準的な Cutout と比較して 1.46%、Mixup + CutMix と比較して 1.02% の性能向上を達成した。
• 112×112 のサブ画像サイズと 2×2 のウィンドウ分割が、最適な性能と効率性を実現した。
• TALL は 3D-CNN や動画変換器と同等の精度-コストトレードオフを達成しながら、顕著に低い FLOPs を実現した。
• Celeb-DF、DFDC、DeeperForensics など複数のデータセットにわたる一般化性能が高く、強いロバスト性を示した。