[논문 리뷰] One-Shot GAN Generated Fake Face Detection

Hadi Mansourifar, Weidong Shi|arXiv (Cornell University)|2020. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 9

한 줄 요약

이 논문은 장면 이해를 활용하여 얼굴 내에서 비현실적인 배경이나 이질적인 물체와 같은 이질적인 객체를 식별함으로써, GAN으로 생성된 위조 얼굴을 탐지하기 위한 원샷 학습 방법을 제안한다. 검출된 객체에서 백오프워즈 표현을 구성하고 희소 특징 벡터를 사용함으로써, 기존 방법보다 더 우수한 성능을 보이며, 스타일-GAN으로 생성된 데이터에서 위조 얼굴을 효과적으로 구분한다.

ABSTRACT

Fake face detection is a significant challenge for intelligent systems as generative models become more powerful every single day. As the quality of fake faces increases, the trained models become more and more inefficient to detect the novel fake faces, since the corresponding training data is considered outdated. In this case, robust One-Shot learning methods is more compatible with the requirements of changeable training data. In this paper, we propose a universal One-Shot GAN generated fake face detection method which can be used in significantly different areas of anomaly detection. The proposed method is based on extracting out-of-context objects from faces via scene understanding models. To do so, we use state of the art scene understanding and object detection methods as a pre-processing tool to detect the weird objects in the face. Second, we create a bag of words given all the detected out-of-context objects per all training data. This way, we transform each image into a sparse vector where each feature represents the confidence score related to each detected object in the image. Our experiments show that, we can discriminate fake faces from real ones in terms of out-of-context features. It means that, different sets of objects are detected in fake faces comparing to real ones when we analyze them with scene understanding and object detection models. We prove that, the proposed method can outperform previous methods based on our experiments on Style-GAN generated fake faces.

연구 동기 및 목표

• 기존 데이터로 훈련된 전통적 모델이 회피하는 새로운, 미리 보지 못한 GAN으로 생성된 위조 얼굴을 탐지하는 과제를 해결하기 위해.
• 동적으로 변화하는 위조 얼굴 생성 기법에 적응 가능한 강력한 원샷 학습 접근법을 개발하기 위해.
• 라벨이 부족한 위조 얼굴 샘플이 극히 적은 저자료 환경에서의 탐지 성능을 향상시키기 위해.
• 장면 이해와 객체 검출을 사전 처리 도구로 활용하여 얼굴에서 분류 가능한 특징을 추출하기 위해.

제안 방법

• 최신 기술의 장면 이해 및 객체 검출 모델을 활용하여 얼굴 이미지 내에서 이질적이거나 이질적인 객체를 식별한다.
• 각 얼굴 이미지에서 검출된 객체를 추출하고, 각 특징이 검출된 객체의 신뢰도 점수에 해당하는 백오프워즈 표현으로 표현한다.
• 입력 이미지를 각 객체의 존재 여부와 신뢰도 점수를 인코딩하는 희소 벡터로 변환하여 효율적인 비교를 가능하게 한다.
• 이 희소 벡터 표현을 기반으로 분류기를 훈련시켜 원샷 학습 환경에서 진짜 얼굴과 GAN으로 생성된 위조 얼굴을 구분한다.
• 사전 훈련된 모델의 이식 가능한 특징을 활용하여 다양한 GAN 아키텍처 간 일반화를 보장한다.
• 메서드를 스타일-GAN으로 생성된 위조 얼굴에 대해 평가하여, 제로샷 및 피어샷 탐지 시나리오에서의 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 이질적인 객체는 GAN으로 생성된 위조 얼굴을 탐지하는 데 신뢰할 수 있는 분류 신호로 기능할 수 있는가?
• RQ2 객체 검출과 장면 이해를 기반으로 한 원샷 학습 접근법은 새로운 위조 얼굴을 탐지하는 데 얼마나 효과적인가?
• RQ3 제안된 메서드는 재훈련 없이도 다양한 GAN 아키텍처 간에 일반화 가능한가?
• RQ4 검출된 객체의 백오프워즈 표현은 기존 딥러닝 특징에 비해 탐지 정확도를 향상시키는가?
• RQ5 단 한 개의 진짜 또는 위조 예제만 있는 저자료 환경에서 이 메서드는 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 메서드는 특히 원샷 시나리오에서 스타일-GAN으로 생성된 위조 얼굴에 대해 이전 방법들보다 뛰어난 탐지 성능을 달성한다.
• 이질적인 객체의 존재는 위조 얼굴에서 진짜 얼굴보다 훨씬 더 높은 빈도로 관찰되며, 강력한 분류 신호를 제공한다.
• 객체 신뢰도 점수에 기반한 희소 벡터 표현은 새로운 위조 얼굴 유형에 대한 효과적인 일반화를 가능하게 한다.
• 메서드는 저자료 환경에서 뛰어난 강건성을 보이며, 원샷 탐지에 적합함을 확인한다.
• 장면 이해 모델은 표준 얼굴 분석으로는 인지할 수 없는 이질적 특징을 효과적으로 추출한다.