[論文レビュー] DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation

Javier Hernandez‐Ortega, Rubén Tolosana+2 more|arXiv (Cornell University)|Oct 1, 2020

Non-Invasive Vital Sign Monitoring参考文献 38被引用数 57

ひとこと要約

DeepFakesON-Physは顔映像から心拍関連の生理学的信号を推定するConvolutional Attention Networkを用いてDeepFakesを検出し、Celeb-DF v2でのAUCを最先端、DFDC Previewで高い性能を達成しています。

ABSTRACT

This work introduces a novel DeepFake detection framework based on physiological measurement. In particular, we consider information related to the heart rate using remote photoplethysmography (rPPG). rPPG methods analyze video sequences looking for subtle color changes in the human skin, revealing the presence of human blood under the tissues. In this work we investigate to what extent rPPG is useful for the detection of DeepFake videos. The proposed fake detector named DeepFakesON-Phys uses a Convolutional Attention Network (CAN), which extracts spatial and temporal information from video frames, analyzing and combining both sources to better detect fake videos. This detection approach has been experimentally evaluated using the latest public databases in the field: Celeb-DF and DFDC. The results achieved, above 98% AUC (Area Under the Curve) on both databases, outperform the state of the art and prove the success of fake detectors based on physiological measurement to detect the latest DeepFake videos.

研究の動機と目的

• 生理学的測定、特に心拍を用いてDeepFakesを検出する動機づけ。
• 心拍推定から検出への知識移転を行うDeepFake検出器の開発。
• rPPGベースの特徴をCANアーキテクチャ内で活用し、視覚的アーティファクトに対する堅牢性を向上。

提案手法

• 検出器をDeepPhysに基づき、心拍推定ではなく分類用に適応。
• 心拍推定のために事前学習済みのウェイトで初期化し、最後の層のみファインチューニング。
• Two-branch Convolutional Attention Network (Motion and Appearance Models)は注意マスクを通じて情報を共有。
• 元の回帰出力をフレームレベルの実/偽分類のシグモイド分類に置換。
• Motion Modelの入力としてフレーム差分を用い、フレームは軽い正規化で前処理。

実験結果

リサーチクエスチョン

• RQ1 心拍推定のために学習したrPPGベースの特徴を、DeepFakes検出に再利用できるか。
• RQ2 CANアーキテクチャは生理学ベースのDeepFake検出のために空間的・時間的手がかりを効果的に統合できるか。
• RQ3 提案手法は未知のDeepFakeデータベース（Celeb-DF v2とDFDC Preview）へどの程度一般化するか。

主な発見

データベース	AUC (%)	Accuracy (%)
Celeb-DF v2	99.9	98.7
DFDC Preview	98.2	94.4

• DeepFakesON-PhysはCeleb-DF v2でAUC 99.9%、DFDC Previewで98.2%を達成。
• Celeb-DF v2でのAccuracyは98.7%、DFDC Previewで94.4%。
• 心拍推定モデルから初期化された凍結した畳み込み層を用い、最終層のみ訓練。
• Face Warping、LCN/mesoscopic特徴、および純粋な深屈学習特徴に基づく最先端検出器を上回る。
• 本手法は現行のDeepFakesが合成時に心拍関連の生理情報を活用していないことを示唆。