[論文レビュー] Detecting Deepfake by Creating Spatio-Temporal Regularity Disruption

Jiazhi Guan, Hang Zhou+4 more|arXiv (Cornell University)|Jul 21, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、本物の動画に内在する空間的・時間的規則性の乱れを露呈させるために、合成の疑似偽物動画を生成する、新たなディープフェイク検出手法を提案する。この手法は、プラグアンドプレイ式の疑似偽物生成器と、空間的・時間的強化（STE）ブロックを用いる。本手法は、本物の偽物データを一切使用しないにもかかわらず、Deepwildデータセットで10.67%のAUC向上を達成し、最先端の性能を発揮するとともに、一般化性能も優れている。

ABSTRACT

Despite encouraging progress in deepfake detection, generalization to unseen forgery types remains a significant challenge due to the limited forgery clues explored during training. In contrast, we notice a common phenomenon in deepfake: fake video creation inevitably disrupts the statistical regularity in original videos. Inspired by this observation, we propose to boost the generalization of deepfake detection by distinguishing the "regularity disruption" that does not appear in real videos. Specifically, by carefully examining the spatial and temporal properties, we propose to disrupt a real video through a Pseudo-fake Generator and create a wide range of pseudo-fake videos for training. Such practice allows us to achieve deepfake detection without using fake videos and improves the generalization ability in a simple and efficient manner. To jointly capture the spatial and temporal disruptions, we propose a Spatio-Temporal Enhancement block to learn the regularity disruption across space and time on our self-created videos. Through comprehensive experiments, our method exhibits excellent performance on several datasets.

研究の動機と目的

• 目に見えるアーチファクトではなく、潜在的な統計的規則性の乱れを特定することで、ディープフェイク検出における一般化ギャップを解消すること。
• 本物の偽物データを一切使用せずに、多様で現実的な疑似偽物動画を生成するデータ拡張戦略を開発すること。
• 本物の規則性の乱れを模倣する合成データで学習することで、未観測の改ざんタイプに対してもモデルのロバスト性を向上させること。
• 空間的および時間的不規則性を統合的にモデル化するための新規な空間的・時間的強化（STE）ブロックを導入し、より良い特徴抽出を実現すること。

提案手法

• 疑似偽物生成器は、写真的、幾何的、周波数領域の編集をランダムなパラメータで適用することで、空間的および時間的規則性を破壊する合成の偽物風動画を生成する。
• 空間的乱れは、顔の入れ替えと再構成のアーチファクトを模倣する「編集後ブレンド」パイプラインにより誘発され、アイデンティティと動きを保持する。
• 時間的乱れは、各フレームを独立してランダムなパラメータで処理することで、自然な動画の連続性を破る。
• 空間的・時間的強化（STE）ブロックは、チャネル別時間的畳み込みと自己注意機構を組み合わせ、空間的・時間的不規則性を統合的にモデル化する。
• STEブロックは、ResNet-34バックボーンの残差ブロックの直前に挿入され、パッチレベルでの特徴抽出を強化する。
• 本手法は、既存の検出モデルと互換性があり、さまざまなアーキテクチャに統合可能なプラグアンドプレイモジュールとして機能し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 本物の偽物データを使用せずに、規則性の乱れを模倣する合成の疑似偽物動画が、ディープフェイク検出の一般化性能を向上させられるか？
• RQ2 空間的・時間的不規則性を統合的にモデル化するアプローチは、動画改ざんによって引き起こされる微細な不規則性を効果的に捉えられるか？
• RQ3 提案された疑似偽物生成器は、さまざまなディープフェイク検出モデルやアーキテクチャに一般化可能か？
• RQ4 空間的・時間的強化（STE）ブロックは、標準的な空間的・時間的ベースラインと比較して、どの程度検出性能を向上させるか？
• RQ5 規則性の乱れをガイドとして、顔領域と背景領域の両方にグローバルな注意を向けることで、モデルの一般化性能が向上するか？

主な発見

• 本手法は、挑戦的なDeepwildデータセットで10.67%のAUC向上を達成し、顕著なクロスデータセット一般化性能を示した。
• Xceptionのような単純なベースラインでも、疑似偽物データで学習させることで最先端の性能を達成し、モデルの複雑さは約23.5Mパラメータにまで低減された。
• Xception、Swin Transformer、TSM-R34の全テストモデルが、疑似偽物データで学習させることで一貫した性能向上を示し、転送可能性が確認された。
• FShおよびCDFデータセットにおいて、STEブロックの導入により平均AUCが88.00%から94.66%に向上し、TSM-R34やSlowFast-R50のベースラインを上回った。
• CAMの可視化結果から、疑似偽物データで学習したモデルは、局所的な顔の特徴に注目するのではなく、グローバルな規則性パターンに注目していることが示され、ロバスト性が向上した。
• 除去実験の結果、疑似偽物生成器における写真的、幾何的、周波数領域の多様な編集手法が、検出性能の向上に顕著に寄与することが確認された。