[논문 리뷰] FakeLocator: Robust Localization of GAN-Based Face Manipulations

Yihao Huang, Felix Juefei-Xu외 3명|arXiv (Cornell University)|2020. 01. 27.

Digital Media Forensic Detection인용 수 6

한 줄 요약

FakeLocator는 업샘플링 아티팩트를 활용하여 GAN에 의해 생성된 얼굴 조작을 고해상도로 정밀하게 국소화하는 새로운로 우수한 성능을 보이는 방법을 제안한다. 다양한 데이터셋과 GAN 방법에서 최고 성능을 기록하며, JPEG 압축, 흐림 등의 실제 세계의 열화 조건에도 강건하다.

ABSTRACT

Full face synthesis and partial face manipulation by virtue of the generative adversarial networks (GANs) and its variants have raised wide public concerns. In the multi-media forensics area, detecting and ultimately locating the image forgery has become an imperative task. In this work, we investigate the architecture of existing GAN-based face manipulation methods and observe that the imperfection of upsampling methods therewithin could be served as an important asset for GAN-synthesized fake image detection and forgery localization. Based on this basic observation, we have proposed a novel approach, termed FakeLocator, to obtain high localization accuracy, at full resolution, on manipulated facial images. To the best of our knowledge, this is the very first attempt to solve the GAN-based fake localization problem with a gray-scale fakeness map that preserves more information of fake regions. To improve the universality of FakeLocator across multifarious facial attributes, we introduce an attention mechanism to guide the training of the model. To improve the universality of FakeLocator across different DeepFake methods, we propose partial data augmentation and single sample clustering on the training images. Experimental results on popular FaceForensics++, DFFD datasets and seven different state-of-the-art GAN-based face generation methods have shown the effectiveness of our method. Compared with the baselines, our method performs better on various metrics. Moreover, the proposed method is robust against various real-world facial image degradations such as JPEG compression, low-resolution, noise, and blur.

연구 동기 및 목표

• 이진 탐지 이상의 수준에서 GAN에 의해 생성된 이미지 내 가짜 얼굴 영역을 정밀하게 국소화할 필요를 해결하기 위해.
• 저해상도 출력이나 손실이 발생하는 특징 추출으로 인해 세밀한 가짜 영역 세부 정보를 손실하는 기존 방법의 한계를 극복하기 위해.
• 다양한 얼굴 특징(예: 털 색깔, 성별 등)과 여러 GAN 기반 얼굴 조작 방법에 걸쳐 모델 일반화 능력을 향상시키기 위해.
• JPEG 압축, 노이즈, 흐림, 저해상도 스케일링 등의 실제 세계 이미지 열화 조건에 대해 강건성을 확보하기 위해.

제안 방법

• GAN 기반 얼굴 합성 모델의 업샘플링 레이어 내재적 결함을 조작 탐지용 식별 가능한 지문으로 활용한다.
• 후처리 없이도 가짜 영역의 고해상도 공간 세부 정보를 유지하는 회색조 가짜 지도를 출력으로 도입한다.
• 다양한 얼굴 특징에 걸친 교차 특성 일반화를 향상시키기 위해 얼굴 파싱 지도에 의해 유도된 주의 메커니즘을 통합한다.
• 학습 중 부분 데이터 증강과 단일 샘플 클러스터링을 적용하여 다양한 GAN 아키텍처 간의 교차 방법 일반화 능력을 향상시킨다.
• 공간 해상도를 유지하고 세밀한 조작 패tern을 재구성하기 위해 스킵 연결을 갖춘 인코더-디코더 아키텍처를 사용한다.
• 학습을 위한 지도로 진짜 이미지와 가짜 이미지 간의 절대 차이로 계산된 진짜 가짜 지도를 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 얼굴 조작 모델의 업샘플링 아티팩트를 고해상도 조작 국소화에 신뢰성 있게 활용할 수 있는가?
• RQ2 얼굴 특징의 변동성(예: 털 색깔, 성별 등)이 있더라도 높은 국소화 정확도를 유지할 수 있도록 딥 러닝 모델을 어떻게 설계할 수 있는가?
• RQ3 재학습 없이도 하나의 모델이 다양한 GAN 기반 얼굴 생성 방법에 얼마나 잘 일반화되는가?
• RQ4 JPEG 압축, 흐림, 노이즈, 저해상도 스케일링 등의 실제 세계 이미지 열화 조건에서 제안된 방법의 성능은 어떠한가?

주요 결과

• FakeLocator는 FaceForensics++ 및 DFFD 데이터셋에서 기존 방법들을 능가하는 최고 수준의 성능을 기록하며, PSNR, SSIM, ACC 등 여러 지표에서 뛰어난 성능을 보였다.
• 심각한 이미지 열화 조건에서도 높은 국소화 정확도를 유지한다: JPEG 압축과 노이즈 조건에서도 PSNR가 안정적으로 유지되며, 극한 조건에서 SSIM과 ACC는 미미하게 저하될 뿐이다.
• 비정규화 테스트는 모델의 위치 독립성을 확인한다. 가짜 이미지 패치를 재배열해도 성능 저하가 미미하여, 모델이 공간적 단서가 아닌 텍스처 기반 패턴을 학습하고 있음을 시사한다.
• 얼굴 파싱에 의해 유도된 주의 메커니즘이 특히 희귀하거나 복잡한 특징(예: '이마 벗은 남성', '수염')에 대해 교차 특징 일반화 능력을 크게 향상시킨다.
• 부분 데이터 증강과 단일 샘플 클러스터링은 교차 방법 강건성을 향상시켜, 일곱 가지 다른 최고 수준의 GAN 기반 얼굴 조작 방법에 대해 일반화할 수 있도록 한다.
• 회색조 가짜 지도 출력은 세밀한 세부 정보를 유지하므로, 털 색깔이나 눈 모양 변화와 같은 미세한 조작도 정밀하게 국소화할 수 있다.