[논문 리뷰] Learning to Detect Fake Face Images in the Wild

Chih–Chung Hsu, Chia‐Yen Lee외 1명|arXiv (Cornell University)|2018. 09. 24.

Digital Media Forensic Detection참고 문헌 6인용 수 9

한 줄 요약

이 논문은 다양한 GAN에 의해 생성된 월간(실제) 가짜 얼굴 이미지를 탐지하는 딥러닝 프레임워크인 DeepFD를 제안한다. 다양한 GAN으로 생성된 이미지 간의 공통적인 특징을 학습하기 위해 대비 손실(contrastive loss)을 활용하고, 이를 분류기와 조합함으로써 최신 GAN들에 대해 94.7%의 탐지 정확도를 달성하여, 예측되지 않은 가짜 이미지 유형에 대한 강력한 일반화 능력을 입증한다.

ABSTRACT

Although Generative Adversarial Network (GAN) can be used to generate the realistic image, improper use of these technologies brings hidden concerns. For example, GAN can be used to generate a tampered video for specific people and inappropriate events, creating images that are detrimental to a particular person, and may even affect that personal safety. In this paper, we will develop a deep forgery discriminator (DeepFD) to efficiently and effectively detect the computer-generated images. Directly learning a binary classifier is relatively tricky since it is hard to find the common discriminative features for judging the fake images generated from different GANs. To address this shortcoming, we adopt contrastive loss in seeking the typical features of the synthesized images generated by different GANs and follow by concatenating a classifier to detect such computer-generated images. Experimental results demonstrate that the proposed DeepFD successfully detected 94.7% fake images generated by several state-of-the-art GANs.

연구 동기 및 목표

• 실제 환경(통제되지 않은 설정)에서 다양한 GAN 아키텍처에 의해 생성된 가짜 얼굴 이미지를 탐지하는 문제를 해결하기 위해.
• 다른 GAN들에서 유래한 이미지 간의 공통적인 특징을 식별하는 데 어려움이 있어 직접적인 이진 분류가 복잡해지는 문제를 해결하기 위해.
• 기본 GAN 아키텍처에 관계없이 합성 얼굴을 탐지할 수 있는 강력하고 일반화 능력이 뛰어난 탐지 모델을 개발하기 위해.
• 신원 사기 및 동의 없는 딥페이크와 같은 고위험 응용 분야에서의 가짜 이미지 탐지 신뢰도를 향상시키기 위해.

제안 방법

• 모델은 실재 이미지와 가짜 이미지를 서로 멀리 떼어내고, 서로 다른 GAN에서 유래한 유사한 가짜 이미지 간의 거리를 좁히는 공유 특징 공간을 학습하기 위해 대비 손실 함수를 활용한다.
• 이미지 쌍을 비교할 수 있도록 시아미즈 네트워크 아키텍처를 사용하여, 다양한 GAN으로 생성된 가짜 얼굴 이미지 간의 불변 표현을 학습한다.
• 학습된 특징 임베딩은 완전히 연결된 분류기 헤드와 연결되어 엔드 투 엔드 학습을 통해 이미지가 실재인지 가짜인지 예측하도록 한다.
• 모델는 StyleGAN, BigGAN 등 최신 GAN들로부터 유래한 다양한 가짜 이미지 데이터셋을 기반으로 훈련된다.
• 특정 모델의 패턴이 아닌 공통된 잔여물(artifacts)에 초점을 맞추어, 훈련 중에 볼 수 없었던 GAN 아키텍처로의 일반화를 설계하였다.
• 추론 과정에서는 공유 특징 공간 내에서 입력 이미지의 임베딩을 기반으로 단일 이미지를 실재 또는 가짜로 분류한다.

실험 결과

연구 질문

• RQ1 특정 GAN 아키텍처를 사전에 알지 못한 상태에서도 딥러닝 모델이 다양한 GAN으로 생성된 가짜 얼굴 이미지를 탐지할 수 있는가?
• RQ2 대비 학습이 다양한 GAN으로 생성된 가짜 얼굴 이미지 간의 공통적인 특징을 발견하는 데 얼마나 효과적인가?
• RQ3 제안된 방법은 훈련 중에 볼 수 없었던 새로운 GAN 아키텍처로 일반화되는가?
• RQ4 실제 환경에서 통제되지 않은 설정에서도 모델이 높은 탐지 정확도를 유지할 수 있는가?
• RQ5 기존의 단일 GAN 데이터에 대해 훈련된 이진 분류기와 비교해 볼 때 모델의 성능은 어떠한가?

주요 결과

• 제안된 DeepFD 모델은 몇몇 최신 GAN들에 의해 생성된 가짜 얼굴 이미지에서 94.7%의 탐지 정확도를 달성하여 강력한 일반화 능력을 입증하였다.
• 대비 손실의 사용은 다양한 GAN들 간의 공통된 잔여물을 포착함으로써 특징 학습을 크게 향상시켰으며, 기존의 표준 이진 분류 접근 방식을 능가하였다.
• 모델는 훈련 중에 볼 수 없었던 GAN 아키텍처로도 잘 일반화되어, 합성 이미지 생성의 분포 변화에 대한 강건성을 보였다.
• 다양한 가짜 이미지 유형을 위한 공유 임베딩 공간을 학습함으로써 도메인 시프트 문제를 효과적으로 완화하였다.
• 결과적으로 대비 학습이 GAN으로 생성된 얼굴 이미지에서 미세한, 모델 간 공통의 잔여물을 식별하는 데 효과적임을 확인하였다.