[논문 리뷰] Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain

Honggu Liu, Xiaodan Li외 6명|arXiv (Cornell University)|2021. 03. 02.

Digital Media Forensic Detection참고 문헌 48인용 수 23

한 줄 요약

이 논문은 공간-위상 얕은 학습(SPSL)이라는 새로운 얼굴 위조 탐지 방법을 제안한다. 이 방법은 주로 생성형 얼굴 위조 파이프라인에서 흔히 발생하는 업샘플링 아티팩트를 탐지하기 위해 주파수 도메인의 위상 스펙트럼을 활용하며, 동시에 얕은 네트워크를 사용해 국소 텍스처에 집중하고 고수준의 의미 정보를 억제한다. SPSL은 교차 데이터셋 평가에서 최신 기술 수준의 성능을 달성하여 기준 모델 대비 AUC를 13% 향상시켰다.

ABSTRACT

The remarkable success in face forgery techniques has received considerable attention in computer vision due to security concerns. We observe that up-sampling is a necessary step of most face forgery techniques, and cumulative up-sampling will result in obvious changes in the frequency domain, especially in the phase spectrum. According to the property of natural images, the phase spectrum preserves abundant frequency components that provide extra information and complement the loss of the amplitude spectrum. To this end, we present a novel Spatial-Phase Shallow Learning (SPSL) method, which combines spatial image and phase spectrum to capture the up-sampling artifacts of face forgery to improve the transferability, for face forgery detection. And we also theoretically analyze the validity of utilizing the phase spectrum. Moreover, we notice that local texture information is more crucial than high-level semantic information for the face forgery detection task. So we reduce the receptive fields by shallowing the network to suppress high-level features and focus on the local region. Extensive experiments show that SPSL can achieve the state-of-the-art performance on cross-datasets evaluation as well as multi-class classification and obtain comparable results on single dataset evaluation.

연구 동기 및 목표

• 기존 얼굴 위조 탐지 방법이 새로운 데이터셋과 위조 유형에 대해 제한된 전이성(transferability)을 보이는 문제를 해결하기 위해.
• 생성형 얼굴 위조 파이프라인에서 업샘플링 작업으로 인해 발생하는 위상 스펙트럼에 활용 가능한 아티팩트가 존재하는지 조사하기 위해.
• 네트워크 깊이를 줄여 고수준 의미 특징을 억제하고 국소 텍스처 패턴에 집중함으로써 탐지 정확도를 향상시키기 위해.
• 교차 데이터셋 및 다중 클래스 얼굴 위조 탐지 작업에서 높은 성능을 내는 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 2차원 푸리에 변환을 사용해 얼굴 이미지에서 위상 스펙트럼을 추출하고, 이를 공간 도메인 특징과 결합하여 공동 학습을 수행한다.
• 수용장역도를 줄이고 고수준 의미 표현을 억제하기 위해 얕은 컨볼루션 신경망 아키텍처를 사용하여 국소 텍스처 패턴에 집중한다.
• 모델은 엔드 투 엔드로 훈련되어, GAN 및 VAE에서 반복적인 업샘플링으로 인해 발생하는 미세한 주파수 도메인 아티팩트(특히 위상 스펙트럼 내)를 탐지하도록 한다.
• 이론적 분석을 통해 위상 스펙트럼이 업샘플링 작업에 민감하며, 위조 흔적을 포착하는 데에서 진폭 스펙트럼보다 뛰어난 성능을 보임을 입증한다.
• 여러 백본(Xception, ResNet-34, ResNet-50)을 사용해 프레임워크를 평가하여 아키텍처 간 일반화 능력을 확인한다.
• Grad-CAM 시각화와 t-SNE 특징 공간 분석을 통해 SPSL이 전반적인 이미지 구조가 아닌 미세 텍스처 영역에 집중하고 있음을 검증한다.

실험 결과

연구 질문

• RQ1 주파수 도메인의 위상 스펙트럼이 위조된 얼굴에서 업샘플링 아티팩트를 탐지하는 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ2 네트워크 깊이를 줄여 국소 텍스처에 집중하고 고수준 의미를 억제함으로써 탐지 성능이 향상되는가?
• RQ3 공간 도메인과 위상 도메인 특징의 조합이 다양한 얼굴 위조 데이터셋 간 전이성에 어떻게 기여하는가?
• RQ4 SPSL가 다양한 백본과 위조 유형에서 다중 클래스 분류 작업에 얼마나 잘 일반화되는가?
• RQ5 왜 위조된 얼굴 이미지에서 위상 스펙트럼이 진폭 스펙트럼보다 업샘플링에 더 민감한가?

주요 결과

• SPSL는 FF++ HQ에서 훈련된 경우 Celeb-DF에서 72.39%의 AUC를 기록하여 기준 Xception 모델 대비 13% 향상되었다.
• 절단 실험을 통해 위상 스펙트럼 사용과 얕은 네트워크 설계의 조합이 가장 높은 성능 향상을 이끌어내었으며, AUC는 59.98%에서 72.39%로 상승했다.
• t-SNE 시각화 결과, SPSL는 기준 모델 대비 다양한 위조 유형에 대해 더 분류 능력이 뛰어나고 밀도가 높은 특징 클러스터를 학습하는 것으로 나타났다.
• Grad-CAM 분석 결과, SPSL가 전반적인 얼굴 구조가 아닌 미세 텍스처 영역에 집중하고 있음을 확인하여 설계 목표와 부합함을 입증했다.
• SPSL는 다양한 백본 간에도 잘 일반화된다: ResNet-50 기반 SPSL은 FF++에서 91.04%의 AUC, Celeb-DF에서 73.09%의 AUC를 기록하여 원본 ResNet-50를 초월했다.
• 다중 클래스 분류 작업에서도 뛰어난 성능을 보였으며, ResNet-50 기반 SPSL은 FF++에서 86.64%의 정확도와 91.04%의 AUC를 기록했다.