[論文レビュー] FReTAL: Generalizing Deepfake Detection using Knowledge Distillation and Representation Learning

Minha Kim, Shahroz Tariq+1 more|arXiv (Cornell University)|May 28, 2021

Generative Adversarial Networks and Image Synthesis参考文献 70被引用数 5

ひとこと要約

FReTALは、教師モデルの特徴を学生モデルに転送することで、元のソースドメインデータを必要とせずに、継続的忘却を防ぐ知識蒸留と表現学習に基づくドメイン適応フレームワークを提案する。低品質なディープフェイクに対して最大86.97%の精度を達成し、ゼロショットおよびファインチューニング設定においてベースラインを上回る性能を発揮する。

ABSTRACT

As GAN-based video and image manipulation technologies become more sophisticated and easily accessible, there is an urgent need for effective deepfake detection technologies. Moreover, various deepfake generation techniques have emerged over the past few years. While many deepfake detection methods have been proposed, their performance suffers from new types of deepfake methods on which they are not sufficiently trained. To detect new types of deepfakes, the model should learn from additional data without losing its prior knowledge about deepfakes (catastrophic forgetting), especially when new deepfakes are significantly different. In this work, we employ the Representation Learning (ReL) and Knowledge Distillation (KD) paradigms to introduce a transfer learning-based Feature Representation Transfer Adaptation Learning (FReTAL) method. We use FReTAL to perform domain adaptation tasks on new deepfake datasets while minimizing catastrophic forgetting. Our student model can quickly adapt to new types of deepfake by distilling knowledge from a pre-trained teacher model and applying transfer learning without using source domain data during domain adaptation. Through experiments on FaceForensics++ datasets, we demonstrate that FReTAL outperforms all baselines on the domain adaptation task with up to 86.97% accuracy on low-quality deepfakes.

研究の動機と目的

• 新しい未観測のディープフェイク生成手法に対するディープフェイク検出の一般化の課題に対処すること。
• 新しいディープフェイクタイプが登場する際のドメイン適応における継続的忘却を軽減すること。
• ソーシャルメディアで一般的な低品質ディープフェイクの検出を、高品質なトレーニングデータに依存せずに効果的に行えるようにすること。
• 最小限のターゲットデータを用いて、新しいディープフェイクデータセットに素早く適応できる転移学習フレームワークを開発すること。
• 低品質ディープフェイクに対して、実世界のシナリオで一般的な堅牢性と性能を確保すること。

提案手法

• 学生モデルが教師のソフトラベルおよび中間特徴表現から学習する教師-学生の蒸留フレームワークを採用する。
• ソースドメインとターゲットドメインの特徴を一致させるために特徴ベースの表現学習（FSL）を統合し、ドメイン転送を強化する。
• ソースドメインデータにアクセスせずに、教師から学生への知識転送を実現するための知識蒸留損失（KD損失）を適用する。
• 特徴抽出に事前学習済みのXceptionバックボーンを用い、学生モデルをたった10個のターゲットドメインサンプルでファインチューニングする。
• 蒸留と表現アライメントによって教師の知識を保持することで、継続的忘却を最小限に抑える。
• ターゲットラベルに対する交差エントロピー損失と、教師出力に対するKD損失の両方を用いて学生モデルを訓練し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留と表現学習を併用することで、ソースドメインデータにアクセスできない状況下でも、ディープフェイク検出におけるドメイン適応が向上するか？
• RQ2 FReTALは、ゼロショットおよびファインチューニングベースラインと比較して、低品質ディープフェイクの検出においてどの程度効果的か？
• RQ3 新しいディープフェイク生成手法に適応する際、FReTALは継続的忘却をどの程度効果的に防止できるか？
• RQ4 FReTALを用いることで、たった10個のターゲットドメインサンプルでのみ、学生モデルが高い性能を達成できるか？
• RQ5 FSLとKD損失の組み合わせは、標準的なKDやファインチューニングと比較して、検出精度を顕著に向上させるか？

主な発見

• FReTALは、低品質ディープフェイク検出で最大86.97%の精度を達成し、ゼロショットおよびファインチューニングベースラインを著しく上回る。
• 事前学習済みの教師モデルから知識を効果的に転送することで、ソースドメインデータを一切使用せずに継続的忘却を低減する。
• Xception + FReTALは、Xception + KD単体よりも優れた性能を示し、特徴ベースの表現学習部の必要性を裏付けている。
• たった10個のターゲットドメインサンプルでも、FReTALは優れた性能を発揮しており、高いデータ効率性を示している。
• 未観測のディープフェイクタイプに対しても、特に低品質な設定で良好な一般化性能を発揮する。
• 多くの場合、低品質ディープフェイクの性能は90%未満にとどまるため、スーパーレゾリューションなどのデータ拡張による改善の余地がある。