[論文レビュー] UCF: Uncovering Common Features for Generalizable Deepfake Detection

Zhiyuan Yan, Yong Zhang+2 more|arXiv (Cornell University)|Apr 27, 2023

Digital Media Forensic Detection被引用数 4

ひとこと要約

本論文は、多様なディープフェイク手法に共通する偽造特徴を特定することで一般化性能を向上させる、分離枠組みUCFを提案する。マルチタスク学習、条件付きデコーダー、およびコントラスト正則化を用いることで、手法に依存しない特徴を分離し、未観測データセットにおいて最先端の性能を達成しており、DFDでは最大94.5%のAUC、ベンチマーク全体では平均86.6%のAUCを達成している。

ABSTRACT

Deepfake detection remains a challenging task due to the difficulty of generalizing to new types of forgeries. This problem primarily stems from the overfitting of existing detection methods to forgery-irrelevant features and method-specific patterns. The latter has been rarely studied and not well addressed by previous works. This paper presents a novel approach to address the two types of overfitting issues by uncovering common forgery features. Specifically, we first propose a disentanglement framework that decomposes image information into three distinct components: forgery-irrelevant, method-specific forgery, and common forgery features. To ensure the decoupling of method-specific and common forgery features, a multi-task learning strategy is employed, including a multi-class classification that predicts the category of the forgery method and a binary classification that distinguishes the real from the fake. Additionally, a conditional decoder is designed to utilize forgery features as a condition along with forgery-irrelevant features to generate reconstructed images. Furthermore, a contrastive regularization technique is proposed to encourage the disentanglement of the common and specific forgery features. Ultimately, we only utilize the common forgery features for the purpose of generalizable deepfake detection. Extensive evaluations demonstrate that our framework can perform superior generalization than current state-of-the-art methods.

研究の動機と目的

• 偽造に無関係で手法特有の特徴に過剰適合する問題を是正すること。
• 画像特徴をコンテンツ、手法特有の偽造、共通する偽造成分に分離し、耐障害性の高い検出を実現すること。
• さまざまなバックボーンや未観測の偽造タイプに対応できる、プラグアンドプレイ型のフレームワークを開発すること。

提案手法

• バイナリ分類（本物／偽物）とマルチクラスの偽造手法分類を同時に実行するマルチタスク学習フレームワークを用い、コンテンツ特徴と偽造特徴を分離する。
• コンテンツ特徴と偽造特徴を条件として用いて画像を再構築する条件付きデコーダーを採用し、忠実な分離を保証する。
• 手法特有の特徴と共通する偽造特徴の間の分離を明示的に促進するコントラスト正則化損失を導入する。
• 最終的な検出器は、コンテンツ特徴と手法特有のパターンを排除し、共通する偽造特徴のみを用いることで、過剰適合を防ぐ。
• Xception、ConvNeXt、ResNet、EfficientNetなど、さまざまなバックボーンと互換性があり、プラグアンドプレイの能力を示している。
• t-SNE可視化により、共通特徴が複数の偽造手法に共通する偽造パターンを捉えている一方で、コンテンツ特徴は本物／偽物ラベルに対して不変であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 分離枠組みは、偽造に無関係なコンテンツ特徴と、手法特有および共通する偽造特徴を効果的に分離できるか？
• RQ2 共通する偽造特徴のみを分離することで、未観測のディープフェイクデータセットにおける一般化性能が向上するか？
• RQ3 提案されたコントラスト正則化は、特定の偽造パターンと共通する偽造パターンの分離をどのように改善するか？
• RQ4 このフレームワークは、多様なバックボーンアーキテクチャにおいても高い性能を維持できるか？
• RQ5 条件付きデコーダーは、特徴の分離と再構築の忠実性をどの程度向上させるか？

主な発見

• UCFフレームワークは、データセット全体で平均85.2%のAUCを達成し、ベースラインのXceptionモデル（平均68.3%のAUC）を顕著に上回った。
• DFDデータセットでは94.5%のAUCに達し、未観測の偽造に対して強い一般化性能を示した。
• ConvNeXtバックボーンを用いることで、平均AUCは86.6%に向上し、異なるアーキテクチャに対しても本フレームワークの有効性が裏付けられた。
• t-SNE可視化により、共通する偽造特徴が異なる偽造手法に共通するパターンを捉えている一方で、コンテンツ特徴は本物／偽物ラベルに対して不変であることが確認された。
• アブレーションスタディの結果、全偽造特徴を用いるよりも共通特徴のみを用いる方が高い性能を示し、手法特有のパターンが一般化性能を低下させることを実証した。
• フレームワークはプラグアンドプレイであり、ResNetやEfficientNetバックボーンに対しても、アーキテクチャの変更なしに検出性能を向上させた。