[논문 리뷰] DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation

Javier Hernandez‐Ortega, Rubén Tolosana외 2명|arXiv (Cornell University)|2020. 10. 01.

Non-Invasive Vital Sign Monitoring참고 문헌 38인용 수 57

한 줄 요약

DeepFakesON-Phys는 얼굴 비디오에서 심박수 관련 생리 신호를 추정하여 DeepFakes를 탐지하는 Convolutional Attention Network를 사용하며 Celeb-DF v2 및 DFDC Preview에서 최첨단 AUC를 달성한다.

ABSTRACT

This work introduces a novel DeepFake detection framework based on physiological measurement. In particular, we consider information related to the heart rate using remote photoplethysmography (rPPG). rPPG methods analyze video sequences looking for subtle color changes in the human skin, revealing the presence of human blood under the tissues. In this work we investigate to what extent rPPG is useful for the detection of DeepFake videos. The proposed fake detector named DeepFakesON-Phys uses a Convolutional Attention Network (CAN), which extracts spatial and temporal information from video frames, analyzing and combining both sources to better detect fake videos. This detection approach has been experimentally evaluated using the latest public databases in the field: Celeb-DF and DFDC. The results achieved, above 98% AUC (Area Under the Curve) on both databases, outperform the state of the art and prove the success of fake detectors based on physiological measurement to detect the latest DeepFake videos.

연구 동기 및 목표

• 생리적 측정, 특히 심박수를 사용하여 DeepFakes를 탐지하려는 동기를 부여한다.
• 심박수 추정에서 인식 지식을 탐지로 이전하는 DeepFake 탐지기를 개발한다.
• CAN 아키텍처 내에서 rPPG 기반 특징을 활용하여 시각적 인공물에 대한 강건성을 향상시킨다.

제안 방법

• 감정 기반 분류 대신 분류를 위한 확장을 위해 DeepPhys를 기반으로 탐지기를 구성한다.
• 심박수 추정을 위해 사전 학습된 가중치로 초기화하고 마지막 계층만 미세조정한다.
• 두 가지 분기 Convolutional Attention Network (Motion and Appearance Models)가 주목(mask)을 통해 정보를 공유한다.
• 프레임 수준의 실제/가짜 분류를 위한 원래의 회귀 출력을 시그모이드 분류로 교체한다.
• Motion Model에 대해 가벼운 정규화와 프레임 차이를 입력으로 사용하여 프레임을 전처리한다.

실험 결과

연구 질문

• RQ1 심박수 추정에 대해 학습된 rPPG 기반 특징을 DeepFakes 탐지에 재사용할 수 있는가?
• RQ2 CAN 아키텍처가 공간적 및 시간적 단서를 효과적으로 융합하여 생리학 기반 DeepFake 탐지에 기여하는가?
• RQ3 제안된 방법이 unseen DeepFake 데이터베이스(Celeb-DF v2 및 DFDC Preview)에 얼마나 일반화되는가?

주요 결과

• DeepFakesON-Phys는 Celeb-DF v2에서 AUC 99.9%, DFDC Preview에서 98.2%를 달성한다.
• Celeb-DF v2에서의 정확도는 98.7%, DFDC Preview에서 94.4%이다.
• 심박수 추정 모델에서 초기화된 고정된 합성 컨볼루션 계층과 마지막 계층만 학습된 채로 탐지기가 학습된다.
• 이 접근법은 얼굴 왜곡, LCN/중간 규모 특징, 순수 딥러닝 특징 기반의 최첨단 탐지기보다 우수하다.
• 본 방법은 현재의 DeepFakes가 합성에서 심박수 관련 생리 정보를 활용하지 못한다는 것을 시사한다.