[논문 리뷰] Mover: Mask and Recovery based Facial Part Consistency Aware Method for Deepfake Video Detection

Juan Hu, Xin Liao외 5명|arXiv (Cornell University)|2023. 03. 03.

Digital Media Forensic Detection인용 수 6

한 줄 요약

Mover는 얼굴의 특정 부위 일관성(특히 마스크 처리 및 복원을 통한 영역)을 활용하는 이중 단계 딥페이크 검출 방법을 제안한다. 이는 실존하는 얼굴 이미지에서 마스킹된 자동에코더를 사전 훈련하여 부위 수준의 일관성을 학습한 후, 일관성 검출을 위한 미세조정된 네트워크와 복원 기반 매핑 네트워크를 갖춘 이중 네트워크 아키텍처를 사용하여 다양한 데이터셋 간에 높은 강건성으로 진짜 영상과 가짜 영상 간을 구분한다.

ABSTRACT

Deepfake techniques have been widely used for malicious purposes, prompting extensive research interest in developing Deepfake detection methods. Deepfake manipulations typically involve tampering with facial parts, which can result in inconsistencies across different parts of the face. For instance, Deepfake techniques may change smiling lips to an upset lip, while the eyes remain smiling. Existing detection methods depend on specific indicators of forgery, which tend to disappear as the forgery patterns are improved. To address the limitation, we propose Mover, a new Deepfake detection model that exploits unspecific facial part inconsistencies, which are inevitable weaknesses of Deepfake videos. Mover randomly masks regions of interest (ROIs) and recovers faces to learn unspecific features, which makes it difficult for fake faces to be recovered, while real faces can be easily recovered. Specifically, given a real face image, we first pretrain a masked autoencoder to learn facial part consistency by dividing faces into three parts and randomly masking ROIs, which are then recovered based on the unmasked facial parts. Furthermore, to maximize the discrepancy between real and fake videos, we propose a novel model with dual networks that utilize the pretrained encoder and masked autoencoder, respectively. 1) The pretrained encoder is finetuned for capturing the encoding of inconsistent information in the given video. 2) The pretrained masked autoencoder is utilized for mapping faces and distinguishing real and fake videos. Our extensive experiments on standard benchmarks demonstrate that Mover is highly effective.

연구 동기 및 목표

• 기존의 특정 위조 패tern이나 명시적 단서에 의존하는 딥페이크 검출 방법의 한계를 해결하기 위해, 새로운 위조 기법에 대응할 때 성능이 저하되는 문제를 해결한다.
• 진짜 인간 얼굴에 내재된 얼굴 부위 일관성(예: 눈, 입, 눈썹의 조화로운 표현)을 보편적이고 특정하지 않은 신호로 활용하여 딥페이크를 탐지한다.
• 수동으로 설계된 특징이나 특정 위조 아티팩트에 의존하지 않도록 하여, 새로운 데이터셋과 위조 기법에 대해 잘 일반화되는 방법을 개발한다.
• 메타학습과 얼굴 복원을 통한 통합을 통해 진짜와 가짜 얼굴 간의 차이를 증폭시켜, 다양한 데이터셋 간 검출 성능을 향상시킨다.

제안 방법

• 얼굴을 의미적 영역(예: 눈, 입 등)으로 나누어 무작위로 영역 관심 영역(ROIs)을 마스킹하고, 마스킹되지 않은 부분을 이용해 복원함으로써 얼굴 부위 일관성을 학습하기 위해 실존하는 얼굴 이미지에서 마스킹된 자동에코더(MAE)를 사전 훈련한다.
• 이중 네트워크 아키텍처를 사용한다: 한 쪽 브랜치는 사전 훈련된 인코더를 미세조정하여 영상 프레임 내의 일관성 없는 특징을 탐지하고, 다른 쪽 브랜치는 사전 훈련된 MAE를 사용하여 얼굴을 복원하고 영상 분류를 수행한다.
• 매핑 네트워크에 메타학습 모듈을 통합하여 훈련 중에 도메인 간 검출을 시뮬레이션함으로써 도메인 일반화 능력을 향상시킨다.
• 매핑 네트워크의 핵심 구성 요소로 얼굴 복원을 적용하여 진짜와 가짜 얼굴 간의 차이를 증폭시켜, 일관성 없는 부분을 더 쉽게 탐지할 수 있도록 한다.
• 클래스 활성화 맵(CAM)을 활용하여 주의를 시각화하고, 모델이 가짜 얼굴의 일관성 없는 영역, 특히 마스킹된 영역에 집중하고 있음을 확인한다.
• 두 단계로 종합적으로 훈련한다: 먼저 실존 이미지만으로 사전 훈련을 수행한 후, 진짜 및 가짜 영상 데이터로 미세조정하여 분류 성능를 최대화한다.

실험 결과

연구 질문

• RQ1 위조 패턴이 변화하더라도 효과적으로 작동하는 보편적이고 특정하지 않은 신호로서 얼굴 부위 일관성이 딥페이크 탐지에 유용한가?
• RQ2 전체 얼굴 복원 대비 의미적 영역 기반 마스킹 및 복원이 검출 강건성 향상에 어떻게 기여하는가?
• RQ3 일관성 검출과 복원 기반 매핑을 조합한 이중 네트워크 설계가 검출 성능 향상과 다양한 데이터셋 간 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 복원 브랜치에 메타학습을 통합하면, 새로운 딥페이크 데이터셋에 대한 도메인 일반화 능력이 향상되는가?
• RQ5 얼굴 복원이 특히 미세한 얼굴 부위 일관성 불일치가 있는 경우에 진짜와 가짜 얼굴 간의 구별을 얼마나 증폭시키는가?

주요 결과

• Mover는 표준 벤치마크에서 최고 성능을 기록하며, 내부 및 외부 데이터셋 간 검출 설정 모두에서 기존 방법들을 능가한다.
• 제거 실험 결과에서 미세조정 네트워크 또는 매핑 네트워크를 제거할 경우 성능이 크게 저하됨을 확인하여, 두 브랜치가 최적의 검출에 필수적임을 입증한다.
• 메타학습 모듈은 훈련 중 도메인 이동을 시뮬레이션함으로써 외부 데이터셋 검출 성능을 향상시켜, 메타학습이 없는 변종보다 더 우수한 일반화 성능을 보였다.
• 매핑 네트워크 내 얼굴 복원은 진짜와 가짜 얼굴 간의 검출 차이를 증폭시켜, 복원 기반 요소가 없는 방법 대비 측정 가능한 성능 향상을 이끌어냈다.
• 시각화 결과에서 모델은 가짜 얼굴의 마스킹된 영역에 대해 일관성 없는 부분에 주목하는 것으로 확인되었고, 진짜 얼굴은 배경 영역에 활성화가 발생함을 통해 부위 수준의 조화에 민감함을 입증했다.
• RECCE 및 원본 MAE와 비교했을 때, Mover는 더 명확하고 의미적으로 유도된 복원 결과를 생성하여, 특히 시각화에서 노란 박스 영역에 일관성 없는 부분을 더 잘 부각시켰다.