[논문 리뷰] DeepFake Detection Based on the Discrepancy Between the Face and its Context

Yuval Nirkin, Lior Wolf외 2명|arXiv (Cornell University)|2020. 08. 27.

Face recognition and analysis참고 문헌 59인용 수 28

한 줄 요약

이 논문은 얼굴 교체 이미지를 탐지하기 위해 조작된 얼굴 영역과 그 불변한 배경(예: 머리카락, 귀, 목) 간의 불일치를 탐지하는 새로운 딥페이크 탐지 방법을 제안한다. 얼굴용과 배경용으로 별도의 얼굴 인식 네트워크를 사용하여 신원 임bedding를 비교함으로써 불일치를 밝혀내며, FaceForensics++, Celeb-DF-v2, DFDC 벤치마크에서 최고 성능을 기록하고, 아직 보지 못한 조작 기법에도 일반화 가능하다.

ABSTRACT

We propose a method for detecting face swapping and other identity manipulations in single images. Face swapping methods, such as DeepFake, manipulate the face region, aiming to adjust the face to the appearance of its context, while leaving the context unchanged. We show that this modus operandi produces discrepancies between the two regions. These discrepancies offer exploitable telltale signs of manipulation. Our approach involves two networks: (i) a face identification network that considers the face region bounded by a tight semantic segmentation, and (ii) a context recognition network that considers the face context (e.g., hair, ears, neck). We describe a method which uses the recognition signals from our two networks to detect such discrepancies, providing a complementary detection signal that improves conventional real vs. fake classifiers commonly used for detecting fake images. Our method achieves state of the art results on the FaceForensics++, Celeb-DF-v2, and DFDC benchmarks for face manipulation detection, and even generalizes to detect fakes produced by unseen methods.

연구 동기 및 목표

• 시민 사회에 심각한 위협이 되는 현실적인 얼굴 교체 미디어가 시청자를 속이고 시각적 증거에 대한 신뢰를 약화시키는 문제를 해결하기 위해.
• 현재 딥페이크 기법의 본질적 설계 한계를 활용하여, 특히 얼굴 교체를 통한 신원 조작을 탐지하기 위해.
• 기존의 실재/가짜 분류기와 보완되는 탐지 신호를 개발하기 위해, 얼굴 영역과 배경 영역 간의 신원 불일치를 기반으로 하기 위해.
• 특정 생성 기법에 의존하는 잔상가 아니라 구조적 불일치에 초점을 맞춤으로써 내성적 저항력과 일반화 능력을 향상시키기 위해.
• 딥페이크 품질이 향상되고 잔상이 감소하는 상황에서도 효과적으로 작동하는 탐지 프레임워크를 만들기 위해.

제안 방법

• 이 방법은 두 개의 전용 얼굴 인식 네트워크를 사용한다: 하나는 날카롭게 분할된 얼굴 영역(𝐸_𝑓)에 대해 훈련되고, 다른 하나는 주변 배경(𝐸_𝑐)에 대해 훈련되며, 모두 Xception 아키텍처를 사용한다.
• 얼굴 세그멘테이션은 U-Net 기반 네트워크를 사용하며, 랜덤 회전, 색상 왜곡, 수평 뒤집기, 가우시안 블러 등의 데이터 증강 기법을 적용한다.
• 얼굴 및 배경 네트워크에서 유도된 신원 임bedding를 비교하여 불일치를 탐지하고, 이는 조작 여부를 나타내는 불일치 신호로 구성된다.
• 불일치 신호는 기존의 실재/가짜 분류기와 결합되어 탐지 성능을 향상시키며, 신원 네트워크는 VGGFace2에서 훈련되고, 전체 파이프라인은 FaceForensics++에서 미세조정된다.
• 디스크림ิน레이터 𝐷를 사용한 적대적 훈련을 통해 엔드 투 엔드로 훈련되며, 단일 V100 GPU에서 추론 속도는 81.5–90.6 fps이다.
• 이 방법은 원본 또는 대상 신원에 대한 사전 지식이 필요 없으며, 얼굴과 배경 간의 신원 신호 일관성에만 의존한다.

실험 결과

연구 질문

• RQ1 얼굴과 그 주변 배경 간의 불일치가 얼굴 교체 이미지를 탐지하는 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 불일치 기반 탐지 방법이 다양한 얼굴 조작 기법, 특히 아직 보지 못한 기법들에 대해 일반화되는가?
• RQ3 잔상 기반 탐지 방법과 비교했을 때, 얼굴-배경 신원 불일치 신호의 효과성은 어떠한가?
• RQ4 불일치 신호는 기존의 실재/가짜 분류기와 효과적으로 조합되어 전체 탐지 성능을 향상시킬 수 있는가?
• RQ5 기존 탐지 기법을 피할 수 있는 고품질, 잔상이 없는 딥페이크에 대해서도 제안된 방법이 내성적 저항력을 유지하는가?

주요 결과

• FaceForensics++ 벤치마크에서 최고 성능을 기록하며, 이전 방법들보다 탐지 정확도에서 뛰어난 성능을 보였다.
• Celeb-DF-v2 데이터셋에서도 최고 성능(SOTA)을 달성하여 다양한 실제 세계의 얼굴 조작 데이터에 대한 강력한 일반화 능력을 입증했다.
• 아직 보지 못한 조작 기법으로 생성된 가짜를 효과적으로 탐지하여, 분포 이탈에 대한 강건성을 보였다.
• 불일치 신호는 기존의 실재/가짜 분류기와 보완적이며, 조합 시 전체 탐지 성능을 향상시켰다.
• 고속 추론 성능을 기록하여, 단일 V100 GPU에서 전체 파이프라인이 81.5–90.6 fps로 실시간 배포가 가능했다.
• 딥페이크 잔상이 최소화된 경우에도 효과적으로 작동했으며, 이는 시각적 잔상이 아닌 구조적 불일치에 기반하기 때문이다.