[논문 리뷰] Generalizing Face Forgery Detection with High-frequency Features

Yuchen Luo, Yong Zhang외 2명|arXiv (Cornell University)|2021. 03. 23.

Digital Media Forensic Detection참고 문헌 59인용 수 23

한 줄 요약

이 논문은 CNN 기반 검출기에서 메서드별 색조 무늬에 대한 과적합을 극복하기 위해 고주파 이미지 노이즈를 활용하는 일반화 가능한 얼굴 위조 탐지 방법을 제안한다. 다중 척도 고주파 특징 추출 모듈, 잔차 유도 공간 주의 메커니즘, RGB 및 노이즈 특징 간의 다중 모odal 주의 메커니즘을 도입함으로써, 모델은 최신 기술 수준의 일반화 성능을 달성하며, CelebDF에서 이전 방법보다 15% 이상 AUC 향상을 기록하고, FF++ (LQ)에서 98.6%의 정확도를 달성한다. 교차 데이터베이스 평가에서 성능을 입증하였다.

ABSTRACT

Current face forgery detection methods achieve high accuracy under the within-database scenario where training and testing forgeries are synthesized by the same algorithm. However, few of them gain satisfying performance under the cross-database scenario where training and testing forgeries are synthesized by different algorithms. In this paper, we find that current CNN-based detectors tend to overfit to method-specific color textures and thus fail to generalize. Observing that image noises remove color textures and expose discrepancies between authentic and tampered regions, we propose to utilize the high-frequency noises for face forgery detection. We carefully devise three functional modules to take full advantage of the high-frequency features. The first is the multi-scale high-frequency feature extraction module that extracts high-frequency noises at multiple scales and composes a novel modality. The second is the residual-guided spatial attention module that guides the low-level RGB feature extractor to concentrate more on forgery traces from a new perspective. The last is the cross-modality attention module that leverages the correlation between the two complementary modalities to promote feature learning for each other. Comprehensive evaluations on several benchmark databases corroborate the superior generalization performance of our proposed method.

연구 동기 및 목표

• 학습 및 테스트 위조가 서로 다른 합성 방법을 사용하는 교차 데이터베이스 환경에서 CNN 기반 얼굴 위조 검출기가 일반화 실패를 보이는 문제를 해결하기 위해.
• 기존 검출기가 왜 메서드별 색조 무늬에 과적합하고, 새로운 위조에 대해 실패하는지 규명하기 위해.
• 색조 무늬를 억제하고 위조 악취를 드러내는 고주파 이미지 노이즈를 활용하여 강건성을 향상시키기 위해.
• RGB 무늬와 고주파 노이즈 특징을 주의 메커니즘을 통해 공동으로 학습하는 이중 모달 네트워크를 설계하기 위해.
• 도메인 전용 미세조정이나 광범위한 애너테이션 없이도 교차 데이터베이스 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 입력 이미지뿐 아니라 여러 척도의 저수준 특징에도 SRM 기반 고역통과 필터를 적용하여 풍부한 노이즈 기반 모달리티를 생성하는 다중 척도 고주파 특징 추출 모듈을 제안한다.
• 잔차 맵을 활용해 RGB 특징 추출기의 주의를 위조 흔적에 집중시키는 잔차 유도 공간 주의 모듈을 도입한다.
• RGB 특징과 고주파 노이즈 특징 간의 상관관계를 모델링하여 상호 보완적 표현 학습을 가능하게 하는 이중 다중 모달 주의 모듈을 설계한다.
• 최종 분류를 위해 RGB와 고주파 노이즈 모달리티를 별도로 처리하는 이중 스트림 네트워크 아키텍처를 사용하고, 교차 주의를 통해 특징을 융합한다.
• FF++ 데이터셋의 고품질(HQ) 및 저품질(LQ) 버전을 엔드 투 엔드로 훈련하고, F2F, BI 등 새로운 데이터셋에서 평가한다.
• 표준 평가 지표인 정확도 및 AUC를 사용하며, 각 구성 요소의 기여도를 검증하기 위해 아블레이션 스터디를 실시한다.

Figure 1 : Training and testing forgeries of within-database detection are synthesized by the same algorithm while those of cross-database detection are synthesized by different algorithms. We focus on the latter which is more challenging.

실험 결과

연구 질문

• RQ1 왜 CNN 기반 얼굴 위조 검출기가 다양한 위조 알고리즘 간에 일반화 실패를 보이는가?
• RQ2 고주파 이미지 노이즈가 메서드별 색조 무늬를 효과적으로 억제하고 일관된 위조 악취를 드러내는가?
• RQ3 고주파 특징을 효과적으로 추출하고 RGB 특징과 융합하여 탐지 강건성을 향상시킬 수 있는가?
• RQ4 RGB와 노이즈 특징 간의 다중 모달 주의 메커니즘이 모델의 일반화에 어떤 영향을 미치는가?
• RQ5 한 데이터셋에서 훈련된 통합 모델이 미세조정 없이 다양한 새로운 위조에 대해 뛰어난 성능을 낼 수 있는가?

주요 결과

• FF++ (LQ) 데이터셋에서 모델은 98.6%의 정확도를 기록하여 F3Net(98.0%) 및 기타 고주파 특징 기반 방법을 초월한다.
• CelebDF 벤치마크에서 제안된 방법은 AUC 0.794를 달성하여 FFD(0.644) 및 FWA(0.538)를 15% 이상 초월한다.
• F2F (HQ) 테스트 세트에서 99.2%의 정확도, FS (HQ) 세트에서 86.7%의 정확도를 기록하며, ForensicTrans(각각 72.6% 및 94.5%)와 같은 다중 작업 학습 기반 베이스라인을 뛰어넘는다.
• 아블레이션 스터디 결과, 다중 척도 고주파 추출, 잔차 유도 주의, 다중 모달 주의 등 각 제안된 모듈이 성능 향상에 기여함을 확인하였다.
• Grad-CAM 시각화 결과, 기존 베이스라인 모델이 특정 무늬에 과적합하는 데 반해, 본 모델은 다양한 위조에서 일관된 위조 흔적(예: 입술 부위)에 집중함을 확인하였다.
• F2F, DF, FS, CelebDF 등 다양한 데이터베이스에 걸쳐 잘 일반화되며, 새로운 위조 기법에 대한 강건성을 입증하였다.

Figure 2 : Grad-CAM maps from the Xception model trained on F2F forgeries. Numbers in the bracket denote the probability of being classified as fake. The mouth region is especially highlighted in F2F images, indicating that the model learns F2F’s specific texture. But when evaluated on unseen forger