[論文レビュー] Unmasking DeepFakes with simple Features

Ricard Durall, Margret Keuper+2 more|arXiv (Cornell University)|Nov 2, 2019

Digital Media Forensic Detection参考文献 27被引用数 174

ひとこと要約

本論文は DeepFakes を、単純な周波数領域の特徴 (1D power spectrum via DFT with azimuthal averaging) ＋ 軽量な分類器を用いて検出し、高解像度/中解像度で非常に高い精度を達成し、教師なし設定で堅牢な性能を示します。

ABSTRACT

Deep generative models have recently achieved impressive results for many real-world applications, successfully generating high-resolution and diverse samples from complex datasets. Due to this improvement, fake digital contents have proliferated growing concern and spreading distrust in image content, leading to an urgent need for automated ways to detect these AI-generated fake images. Despite the fact that many face editing algorithms seem to produce realistic human faces, upon closer examination, they do exhibit artifacts in certain domains which are often hidden to the naked eye. In this work, we present a simple way to detect such fake face images - so-called DeepFakes. Our method is based on a classical frequency domain analysis followed by basic classifier. Compared to previous systems, which need to be fed with large amounts of labeled data, our approach showed very good results using only a few annotated training samples and even achieved good accuracies in fully unsupervised scenarios. For the evaluation on high resolution face images, we combined several public datasets of real and fake faces into a new benchmark: Faces-HQ. Given such high-resolution images, our approach reaches a perfect classification accuracy of 100% when it is trained on as little as 20 annotated samples. In a second experiment, in the evaluation of the medium-resolution images of the CelebA dataset, our method achieves 100% accuracy supervised and 96% in an unsupervised setting. Finally, evaluating a low-resolution video sequences of the FaceForensics++ dataset, our method achieves 91% accuracy detecting manipulated videos. Source Code: https://github.com/cc-hpc-itwm/DeepFakeDetection

研究の動機と目的

• AI が生成した偽の顔を検出するための、軽量でデータ効率の高いアプローチを動機づける。
• 大規模なラベル付きデータセットを必要とせず、周波数領域のアーティファクトを活用して real と fake の画像を区別する。
• 評価用の高解像度の real/fake 顔データセットである Faces-HQ を導入する。
• 画像と動画において、高・中・低解像度データ全般でのロバスト性を示す。

提案手法

• グレースケールの顔画像に対して離散フーリエ変換を計算する。
• FFTパワー・スペクトルの方位平均を計算して、1D の特徴ベクトル（722 個の特徴）を得る。
• 1D パワー・スペクトル特徴について、単純な分類器（RBF を用いた SVM、ロジスティック回帰、K-Means）を訓練する。
• 複数のデータセット（Faces-HQ、CelebA、FaceForensics++）に対して、教師ありおよび教師なし設定で評価する。
• 動画データについては、分類前に 1D スペクトルを固定サイズに補間する。

Figure 1 : 1D power spectrum statistics from each sub-data set from Faces-HQ. The higher the frequency, the bigger is the difference between real or fake data.

実験結果

リサーチクエスチョン

• RQ1 単純な周波数領域の特徴は、解像度を問わず GAN 生成顔のアーティファクトを検出できるか？
• RQ2 1D power-spectrum features に対する軽量な分類器のデータ効率と精度はどの程度か？
• RQ3 本手法は、高・中・低解像度のデータ（画像および動画）において、従来のディープラーニング検出器と比較してどう性能を示すか？

主な発見

• Faces-HQ での高解像度評価は、20 個程度の注釈付きサンプルで100%の精度を示す。
• 中解像度の CelebA では、教師あり学習で100%の精度、教師なし設定で96%の精度に達する。
• 低解像度の FaceForensics++ 動画評価は、フレームベースの検出で90%の精度を達成。
• SVM とロジスティック回帰は、十分なサンプルサイズでほぼ完璧な性能を一貫して達成する。K-Means は劣るが、いくつかの設定で依然として競争力がある。
• 周波数成分をサブセクションに分類すると、特定の高周波帯が識別性を牽引することが示される（例：100–300 範囲で、いくつかの設定で0.86–1.00の精度を達成）。
• 本手法はデータソースやGANのタイプをまたいで堅牢であり、大規模なラベル付き訓練に頼らず、周波数領域のアーティファクトに依存する。

Figure 2 : Overview of the processing pipeline of our approach. It contains two main blocks, a feature extraction block using DFT and a training block, where a classifier uses the new transformed features to determine whether the face is real or not. Notice that input images are transformed to grey-