[논문 리뷰] Multi-attentional Deepfake Detection

Hanqing Zhao, Wenbo Zhou외 4명|arXiv (Cornell University)|2021. 03. 03.

Digital Media Forensic Detection참고 문헌 46인용 수 15

한 줄 요약

이 논문은 미세한 국소적 위변조 흔적을 포착하기 위해 딥페이크 검출을 미세 분류 작업으로 재정의하는 다중 주의 기반 딥페이크 검출 프레임워크를 제안한다. 다중 공간 주의 헤드, 질감 강화 얕은 특징, 주의 유도 특징 집약을 통해, 이 방법은 FF++(HQ), Celeb-DF, DFDC 데이터셋에서 최신 기술 수준의 성능을 달성하며, 지역 독립성 손실과 소프트 주의 유도 데이터 증강을 통해 순수 이진 분류기보다 뛰어난 성능을 발휘한다.

ABSTRACT

Face forgery by deepfake is widely spread over the internet and has raised severe societal concerns. Recently, how to detect such forgery contents has become a hot research topic and many deepfake detection methods have been proposed. Most of them model deepfake detection as a vanilla binary classification problem, i.e, first use a backbone network to extract a global feature and then feed it into a binary classifier (real/fake). But since the difference between the real and fake images in this task is often subtle and local, we argue this vanilla solution is not optimal. In this paper, we instead formulate deepfake detection as a fine-grained classification problem and propose a new multi-attentional deepfake detection network. Specifically, it consists of three key components: 1) multiple spatial attention heads to make the network attend to different local parts; 2) textural feature enhancement block to zoom in the subtle artifacts in shallow features; 3) aggregate the low-level textural feature and high-level semantic features guided by the attention maps. Moreover, to address the learning difficulty of this network, we further introduce a new regional independence loss and an attention guided data augmentation strategy. Through extensive experiments on different datasets, we demonstrate the superiority of our method over the vanilla binary classifier counterparts, and achieve state-of-the-art performance.

연구 동기 및 목표

• 미세한 국소적 딥페이크 흔적을 탐지하는 데 있어 순수 이진 분류의 한계를 해결한다.
• 딥페이크 검출을 더 잘 포착할 수 있는 분류 가능한 국소적 특징을 얻기 위해 딥페이크 검출을 미세 분류 문제로 재정의한다.
• 얼굴의 여러 다른 분리된 특징 영역에 집중할 수 있도록 다중 주의 메커니즘을 설계한다.
• 주의 집약을 위한 지역 독립성 손실과 주의 유도 데이터 증강을 도입하여 주의 집약 현상과 일반화 능력을 방지하고 향상시킨다.
• 다양한 벤치마크 데이터셋에서 최신 기술 수준의 검출 성능을 달성한다.

제안 방법

• 입력 얼굴 이미지의 서로 다른 국소 영역에 집중하는 별도의 주의 맵을 생성하기 위해 다중 공간 주의 헤드를 활용한다.
• 얕은 합성곱 특징에서 미세한 흔적을 유지하고 강화하기 위해 질감 특징 강화 블록을 도입한다.
• 주의 맵을 동적 가중치로 사용하여 저수준 질감 특징과 고수준 의미 특징을 융합한다.
• 각 주의 영역의 특징을 독립적으로 풀링하기 위해 이중 주의 풀링 레이어를 적용한 후 최종 분류를 위해 연결한다.
• 주의 헤드 간의 응답 겹침을 최소화하여 다양성을 유도하기 위해 지역 독립성 손실을 설계한다.
• 학습 중에 고응답 주의 영역을 소프트로 흐리게 하는 주의 유도 데이터 증강(AGDA) 전략을 구현하여 네트워크가 다른 영역에서 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 딥페이크 검출을 미세 분류 작업으로 재정의하면, 국소적 미세한 흔적에 집중함으로써 검출 성능을 향상시킬 수 있는가?
• RQ2 여러 주의 헤드가 하나의 주요 영역에 집중하는 것이 아니라 서로 다른 분리된 특징 영역에 효과적으로 집중하도록 훈련시킬 수 있는가?
• RQ3 주의 맵의 분리된 특성과 강건성을 향상시키는 데 가장 효과적인 손실 함수와 데이터 증강 전략은 무엇인가?
• RQ4 얕은 질감 특징을 강화하면 깊은 네트워크 계층에서 사라지는 미세 위변조 흔적을 유지하는 데 도움이 되는가?
• RQ5 제안된 방법이 실제 세계의 딥페이크 데이터셋에서 표준 이진 분류 기반 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 FF++(HQ) 데이터셋에서 97.60%의 정확도와 Celeb-DF에서 67.44%의 AUC를 달성하여 모든 기준 모델을 초월한다.
• 제거 실험 결과, 네 개의 주의 헤드(M=4)를 사용할 경우 최고의 성능를 기록하여 수용 필드 다양성과 계산 비용 간의 최적 균형을 이룬다.
• 지역 독립성 손실 없이 훈련할 경우 주의 헤드가 동일한 영역에 집중하는 것으로 나타나, 그림 4에서 시각화된 바와 같이 이 정규화 기법이 반드시 필요하다는 것을 입증한다.
• 지역 독립성 손실과 소프트 주의 유도 데이터 증강(AGDA)의 조합이 가장 높은 성능(97.60% ACC, 67.44% AUC)을 낸다. 표 6에서 확인할 수 있다.
• 시각화 결과, RIL과 소프트 AGDA가 모두 사용될 때에만(그림 6) 주의 맵이 서로 다른 영역의 분류 가능한 특징에 대해 반응함을 확인할 수 있다.
• AGDA와 RIL을 갖춘 모델은 Celeb-DF에서 67.44%의 AUC를 기록하여, 이러한 구성 요소가 없는 기준 모델 대비 2.61% 향상된 성능을 보였다.