[論文レビュー] DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning

Sheldon Fung, Xuequan Lu+2 more|arXiv (Cornell University)|Apr 23, 2021

Digital Media Forensic Detection参考文献 25被引用数 4

ひとこと要約

本稿では、深造偽造検出のための教師なし対照的学習手法であるDeepfakeUCLを提案する。この手法は、顔画像を2つの拡張ビューに生成し、対照的損失を用いて不変な特徴を学習し、エンコーダーの特徴を下流の線形分類に活用する。複数のデータセットで最先端の教師あり手法と同等の検出性能を達成しており、特に困難なデータセット間ベンチマークでは一部の教師ありモデルを上回ることすらある。

ABSTRACT

Face deepfake detection has seen impressive results recently. Nearly all existing deep learning techniques for face deepfake detection are fully supervised and require labels during training. In this paper, we design a novel deepfake detection method via unsupervised contrastive learning. We first generate two different transformed versions of an image and feed them into two sequential sub-networks, i.e., an encoder and a projection head. The unsupervised training is achieved by maximizing the correspondence degree of the outputs of the projection head. To evaluate the detection performance of our unsupervised method, we further use the unsupervised features to train an efficient linear classification network. Extensive experiments show that our unsupervised learning method enables comparable detection performance to state-of-the-art supervised techniques, in both the intra- and inter-dataset settings. We also conduct ablation studies for our method.

研究の動機と目的

• ラベル付き学習データが入手できない状況における深造偽造検出の課題に対処すること。ラベル付きデータの取得は費用がかかり、時間がかかるため。
• 教師あり例が不要な状況でも、対照的学習が深造偽造検出に有用な特徴を学習できるかを検討すること。
• 提案手法の有効性を、イントラデータセットおよびインタラデータセットの一般化設定の両方で評価すること。
• 教師ありベースラインと比較し、データ拡張や特徴抽出層の重要性をアブレーションすることで、キーコンポーネントの影響を評価すること。

提案手法

• ランダムクロッピング、カラーのジャミング、ランダムグレースケールなどのデータ拡張技術を用いて、1枚の顔画像から2つの異なる拡張ビューを生成する。
• 2つのビューを共有エンコーダーネットワークとその後続のプロジェクションヘッドを介して処理し、対照的損失を用いてその表現の類似度を最大化する。
• 対照的学習の目的関数は、同一画像の拡張ビュー（ポジティブペア）の表現を類似させつつ、ネガティブペアの表現を分離させるように促進する。
• 教師なし事前学習を終えた後、エンコーダーの特徴を線形分類器の入力として使用し、エンドツーエンドのファインチューニングを回避する。
• AUCスコアを用いて、FaceForensics++、UADFV、Celeb-DFの3つのベンチマークデータセットで手法を評価する。
• アブレーションスタディを通じて、教師あり対照的学習と教師なし対照的学習の比較、さまざまなデータ拡張法の組み合わせ、エンコーダー特徴とプロジェクションヘッド特徴の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 教師あり例が不要な状況でも、教師なし対照的学習が深造偽造検出に有用な特徴を学習できるか？
• RQ2 提案手法の性能は、イントラデータセットおよびインタラデータセットの両設定において、最先端の教師あり深造偽造検出手法と比較してどの程度か？
• RQ3 異なるデータ拡張戦略が、学習された特徴のロバスト性および一般化性能に与える影響は何か？
• RQ4 深造偽造検出の下流の線形分類において、エンコーダー出力とプロジェクションヘッド出力のどちらがより効果的か？

主な発見

• 提案された教師なし対照的学習手法は、UADFVデータセットでAUC 93.3%、Celeb-DFデータセットでAUC 90.5%を達成し、最先端の教師あり手法と同等の性能を示した。
• より困難なCeleb-DFデータセットでは、UADFVでファインチューニングされた教師ありXceptionモデルよりもAUCで8.6%高い性能を示し、Celeb-DFでのテスト時に64.8%のAUCを達成した。
• UADFVで学習しCeleb-DFでテストする状況で、三重損失を用いた教師あり対照的学習ベースラインをAUCで4.8%上回った。
• ランダムクロッピング、カラーのジャミング、ランダムグレースケール、水平反転の4つのデータ拡張技術をすべて使用したことで、FaceForensics++でAUCが59.0%、UADFVでAUCが85.6%に向上し、複雑な拡張の恩恵が明確になった。
• 下流の線形分類において、エンコーダーの特徴がプロジェクションヘッドの特徴を常に上回った。これは、エンコーダーがより判別性の高い表現を学習していることを示している。
• アブレーションスタディの結果、教師なし対照的学習が有効であり、データ拡張の複雑さが高くなるほど性能が向上することが確認された。