[논문 리뷰] On the Detection of Digital Face Manipulation

Hao Dang, Feng Liu외 3명|arXiv (Cornell University)|2019. 10. 03.

Digital Media Forensic Detection참고 문헌 61인용 수 41

한 줄 요약

이 논문은 조작된 얼굴 이미지의 탐지를 개선하고 조작된 영역을 로컬라이즈하기 위한 주의(attention) 기반 계층을 도입하며, 새로 만든 Diverse Fake Face Dataset (DFFD)을 뒷받침으로 제시합니다.

ABSTRACT

Detecting manipulated facial images and videos is an increasingly important topic in digital media forensics. As advanced face synthesis and manipulation methods are made available, new types of fake face representations are being created which have raised significant concerns for their use in social media. Hence, it is crucial to detect manipulated face images and localize manipulated regions. Instead of simply using multi-task learning to simultaneously detect manipulated images and predict the manipulated mask (regions), we propose to utilize an attention mechanism to process and improve the feature maps for the classification task. The learned attention maps highlight the informative regions to further improve the binary classification (genuine face v. fake face), and also visualize the manipulated regions. To enable our study of manipulated face detection and localization, we collect a large-scale database that contains numerous types of facial forgeries. With this dataset, we perform a thorough analysis of data-driven fake face detection. We show that the use of an attention mechanism improves facial forgery detection and manipulated region localization.

연구 동기 및 목표

• 다양한 조작 유형에 걸친 디지털 얼굴 조작 탐지를 탐지하고 로컬화해야 하는 필요성이 증가하고 있습니다.
• 정보가 풍부한 영역을 강조하고 진짜 대 조작된 얼굴의 이진 탐지를 개선하는 주의 기반 메커니즘을 개발합니다.
• robust 데이터 기반 분석을 가능하게 하는 실제 얼굴과 조작된 얼굴로 구성된 대규모 다양성 데이터셋(DFFD)을 만듭니다.
• Seen 및 unseen 조작 방법 전반에서 탐지 정확도 및 로컬라이제이션 품질에 대한 주의 메커니즘의 영향을 평가합니다.

제안 방법

• CNN 분류기에 주의 기반 계층을 삽입하여 조작된 영역을 강조하는 주의 맵(M_att)을 생성합니다.
• 주의 맵 생성 접근법 두 가지를 구현합니다: Manipulation Appearance Model (MAM)과 직접 회귀), PCA 기반 기저 또는 end-to-end conv 네트를 사용합니다.
• L = L_classifier + lambda * L_map 형태의 결합 손실로 학습하며, L_map은 감독형, 약감독형 또는 비지도 학습일 수 있습니다.
• L_map을 픽셀 단위의 그라운드 트루스 마스크로 감독하는 경우, 부분적 또는 불확실한 마스크를 이용한 약지도 학습, 또는 이미지 레이블만 이용 가능한 경우의 비지도 학습을 사용합니다.
• 감지 평가를 EER, AUC, FDR이 낮은 지점의 TDR로, 로컬라이제이션은 PBCA, IoU, 코사인 유사도, 그리고 새로운 IINC 지표를 사용해 평가합니다.

실험 결과

연구 질문

• RQ1 다양한 조작 유형에서도 주의 메커니즘이 조작된 얼굴 영역의 탐지 정확도와 로컬라이제이션을 모두 향상시킬 수 있는가?
• RQ2 감독형, 약감독형 및 비지도 학습으로 학습된 주의 맵이 탐지 및 로컬라이제이션 성능에 어떤 영향을 미치는가?
• RQ3 제안된 주의 접근 방식이 unseen 조작 유형 및 외부 데이터셋에 일반화되는가?
• RQ4 다른 백본 네트워크(XceptionNet, VGG16 등)가 주의 계층의 효과에 어떤 영향을 미치는가?

주요 결과

Method	Training data	UADFV	Celeb-DF
Two-stream	Private data	85.1	53.8
Meso4	Private data	84.3	54.8
MesoInception4		82.1	53.6
HeadPose	UADFV	89.0	54.6
FWA	UADFV	97.4	56.9
VA-MLP	Private data	70.2	55.0
VA-LogReg	Private data	54.0	55.1
Multi-task	FF	65.8	54.3
Xception-FF++	FF++	80.4	48.2
Xception	UADFV	96.8	52.2
Xception	UADFV, DFFD	97.5	67.6
Xception+Reg.	DFFD	84.2	64.4
Xception+Reg.	UADFV	98.4	57.1
Xception+Reg.	UADFV, DFFD	98.4	71.2

• 주의가 강화된 모델이 기본선보다 우수한 성능을 보이며 특히 낮은 거짓 탐지율에서 두드러진다(예: TDR 0.01%).
• 주의 맵에 대한 직접 회귀가 낮은 FDR 탐지에서 최상의 성능을 나타내는 반면, MAM은 약감독 또는 비지도 설정에서 이점을 제공한다.
• 주의 메커니즘은 신원(identity) 및 표정 교환, 속성 조작 등 다양한 위조 유형에 걸쳐 탐지 성능을 일관되게 향상시킨다.
• Diverse Fake Face Dataset (DFFD)로 학습할 때 Celeb-DF에서 최첨단 결과를 달성하고 UADFV에서도 경쟁력 있는 결과를 얻는다.
• 저자는 조작된 얼굴 맵에서 IoU 및 Cosine Similarity의 한계를 해결하는 로컬라이제이션 평가를 위한 강력한 지표 IINC를 도입한다.