[논문 리뷰] Face X-ray for More General Face Forgery Detection

Lingzhi Li, Jianmin Bao외 5명|arXiv (Cornell University)|2019. 12. 31.

Digital Media Forensic Detection참고 문헌 49인용 수 21

한 줄 요약

이 논문은 얼굴 가짜 이미지에서 혼합 경계를 드러내어 가짜 얼굴를 탐지하는 새로운 이미지 표현인 face X-ray를 소개한다. 이 방법은 혼합 경계를 따라 내재된 불일치를 식별함으로써, 가짜 데이터에 대한 훈련 없이도 새로운 가짜 제작 기법에 대해 높은 일반화 성능을 달성하며, 미사용된 딥페이크 이미지에서 98.5% AUC를 기록하여 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we propose a novel image representation called face X-ray for detecting forgery in face images. The face X-ray of an input face image is a greyscale image that reveals whether the input image can be decomposed into the blending of two images from different sources. It does so by showing the blending boundary for a forged image and the absence of blending for a real image. We observe that most existing face manipulation methods share a common step: blending the altered face into an existing background image. For this reason, face X-ray provides an effective way for detecting forgery generated by most existing face manipulation algorithms. Face X-ray is general in the sense that it only assumes the existence of a blending step and does not rely on any knowledge of the artifacts associated with a specific face manipulation technique. Indeed, the algorithm for computing face X-ray can be trained without fake images generated by any of the state-of-the-art face manipulation methods. Extensive experiments show that face X-ray remains effective when applied to forgery generated by unseen face manipulation techniques, while most existing face forgery detection or deepfake detection algorithms experience a significant performance drop.

연구 동기 및 목표

• 기존의 얼굴 가짜 탐지기들이 특정 변조 기법에 과적합되어 새로운 기법에 대해 실패하는 심각한 한계를 해결하기 위해.
• 모든 얼굴 변조의 공통된 특성인 혼합 단계에 기반한 일반 목적의 가짜 탐지 방법을 개발하기 위해.
• 최신 기술의 가짜 이미지에 접근할 수 없더라도 훈련이 가능하게 하여, 강건성과 일반화 능력을 향상시키기 위해.
• 특정 알고리즘에 고유한 아티팩트에 의존하는 대신, 혼합 경계를 따라 내재된 이미지 불일치를 식별함으로써 가짜를 탐지하기 위해.
• Poisson 혼합 및 딥 혼합과 같은 새로운 혼합 기법에 적용되었을 때도 face X-ray가 효과를 유지함을 보여주기 위해.

제안 방법

• Face X-ray는 입력된 얼굴 이미지에서 유도된 회색조 이미지 표현으로, 잠재적 혼합 경계를 강조한다.
• 이 방법은 혼합 경계를 따라 내재된 불일치(예: 노이즈 또는 오차 수준 변화)를 식별함으로써 가짜를 탐지한다.
• 모든 가짜 이미지가 공통의 혼합 단계를 거친다고 가정하여, 특정 변조 아티팩트에 의존하지 않는 독립적인 방법이 된다.
• Face X-ray 예측 네트워크는 최신 기술의 가짜 이미지가 아닌, 혼합 기법(예: 알파 혼합)을 사용해 조합된 진짜 이미지 전용으로 훈련된다.
• 다중 작업 손실 함수는 분류 손실(진짜 대 가짜)과 face X-ray 예측 손실을 결합하며, 균형 가중치 λ는 100으로 설정된다.
• 다양한 테스트 세트(미사용된 변조 기법 및 혼합 유형 포함)를 통해 프레임워크의 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 가짜 데이터의 출력에 대해 훈련되지 않은 채로도 새로운 얼굴 변조 기법에 효과적으로 일반화할 수 있는가?
• RQ2 특정 기법에 고유한 아티팩트가 아닌, 혼합 경계를 따라 내재된 불일치를 탐지하는 것이 더 강건하고 일반화 능력이 뛰어난 신호를 제공하는가?
• RQ3 합성 가짜 이미지 없이도 face X-ray 표현을 훈련시켜 높은 탐지 정확도를 달성할 수 있는가?
• RQ4 Poisson 혼합 또는 딥 혼합과 같이 훈련 중에 사용되지 않은 혼합 기법에 대해 face X-ray는 얼마나 효과적인가?
• RQ5 분류만 하는 것에 비해 face X-ray 예측 손실이 탐지 성능 향상에 얼마나 기여하는가?

주요 결과

• Face X-ray는 FF++ 데이터셋에서 98.52% AUC, DFD에서 93.47% AUC를 기록하여 기준선 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, 데이터 생성 과정에서 마스크 변형과 색상 보정이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 저하됨을 확인하였다.
• 손실 가중치 λ는 명백한 영향을 미치며, λ=0일 때 AUC 94.5%에서 λ=1000일 때 AUC 98.6%로 상승하여 face X-ray 예측 손실의 유용성을 확인하였다.
• 미사용된 혼합 유형에 대해서도 뛰어난 일반화 성능을 보였으며, 알파 혼합에서는 99.46% AUC, Poisson 혼합에서는 94.62% AUC, 딥 혼합(GP-GAN)에서는 99.90% AUC를 기록하였다.
• 저해상도 이미지에서는 성능 저하가 발생하였으며, 압축된(저해상도) FF++ 이미지에서는 AUC가 61.6%로 떨어져 이미지 품질에 민감함을 보였다.
• 미사용된 얼굴 변조 기법에 대해서도 높은 정확도를 유지하여, 훈련 데이터를 초월한 강력한 일반화 능력을 입증하였다.