[論文レビュー] DefakeHop: A Light-Weight High-Performance Deepfake Detector

Hong-Shuo Chen, Mozhdeh Rouhsedaghat+4 more|arXiv (Cornell University)|Mar 11, 2021

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 13

ひとこと要約

DefakeHopは、ピクセルホップ++と新規の特徴蒸留モジュールを用いて、顔のパッチからコン act で判別力のある特徴を抽出する、軽量で高性能なディープフェイク検出手法である。わずか42,845パラメータで、UADFV、Celeb-DF v1、Celeb-DF v2においてそれぞれ100%、94.95%、90.56%のSOTA AUCスコアを達成しており、最小限の学習データで学習可能であり、モバイルデプロイメントにも適している。

ABSTRACT

A light-weight high-performance Deepfake detection method, called DefakeHop, is proposed in this work. State-of-the-art Deepfake detection methods are built upon deep neural networks. DefakeHop extracts features automatically using the successive subspace learning (SSL) principle from various parts of face images. The features are extracted by c/w Saab transform and further processed by our feature distillation module using spatial dimension reduction and soft classification for each channel to get a more concise description of the face. Extensive experiments are conducted to demonstrate the effectiveness of the proposed DefakeHop method. With a small model size of 42,845 parameters, DefakeHop achieves state-of-the-art performance with the area under the ROC curve (AUC) of 100%, 94.95%, and 90.56% on UADFV, Celeb-DF v1 and Celeb-DF v2 datasets, respectively.

研究の動機と目的

• 最小限の計算コストでモバイルデプロイメントに適した軽量ディープフェイク検出システムの開発。
• 高パラメータ数と高コストな学習を伴う大規模ディープラーニングモデルの限界を克服し、高い検出精度を維持すること。
• 逐次的部分空間学習と空間周波数特徴蒸留を活用して、ディープフェイク検出のための特徴表現を向上させること。
• パフォーマンスを損なわずに訓練サンプル数を削減し、より高速で効率的なモデル学習を可能にすること。
• 非ディープラーニングアプローチを用いて、ベンチマークデータセットでSOTA検出性能を達成すること。

提案手法

• DefakeHopは、逐次的部分空間学習（SSL）の原則に基づくピクセルホップ++ユニットを用い、c/w Saab変換を介して顔のパッチから階層的特徴を抽出する。
• 特徴蒸留モジュールは、空間次元の低減により空間的冗長性を低減し、チャネルごとのソフト分類により意味的コンテンツを強化する。
• 複数の顔領域（例：目、鼻、口）からの特徴を処理し、アンサンブル分類によって統合することで、耐障害性を向上させる。
• 各ホップで空間的PCAを適用し、エネルギーの90%を保持しながら特徴次元を低減し、コンパクトな表現を確保する。
• 蒸留された特徴に対してチャネルごとのXGBoost分類器を訓練し、最終意思決定にはアンサンブルXGBoostを適用する。
• 少量の動画でエンドツーエンドに学習させることで、限られたデータからでも優れた一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 非ディープラーニングベースの手法が、極めて小さなモデルサイズでSOTAのディープフェイク検出性能を達成できるか？
• RQ2 ピクセルホップ++を用いた逐次的部分空間学習は、高解像度の顔パッチからディープフェイク検出に有用な特徴を効果的に捉えられるか？
• RQ3 特徴蒸留は、モデルの複雑さを低減しつつ、どの程度検出精度を向上させるか？
• RQ4 ディープラーニングベースラインと比較して、著しく少ない訓練サンプルでDefakeHopが一般化性能を発揮できるか？
• RQ5 特に圧縮動画を含むさまざまな動画品質レベルにおいて、モデルの性能はどの程度か？

主な発見

• DefakeHopはUADFVデータセットで100%のAUCを達成し、ベンチマーク内すべての手法を上回った。
• Celeb-DF v1では94.95%のAUCを達成し、非ディープラーニング手法としてSOTA性能を示した。
• Celeb-DF v2では90.56%のAUCを達成し、多様なディープフェイク生成手法に強く一般化していることが示された。
• 250本の訓練動画（Celeb-DF v2の約5%）で85%のAUCに到達でき、高いサンプル効率を示した。
• 低品質な動画条件下でも劣化が生じるが、DefakeHopは依然として高い性能を維持しており、LQ（c40）FF++動画ではAUCが5%低下したにとどまった。
• 最終的なモデルサイズはたったの42,845パラメータであり、モバイルおよびエッジデプロイメントに非常に適している。