[논문 리뷰] Detecting GAN-generated Imagery using Color Cues

Scott McCloskey, Michael Albright|arXiv (Cornell University)|2018. 12. 19.

Digital Media Forensic Detection참고 문헌 12인용 수 67

한 줄 요약

이 연구는 GAN 생성기 아키텍처를 분석해 색상 관련 단서를 밝혀내고 색상 기반 포렌식 두 가지를 개발해 GAN으로 생성된 이미지를 실제 카메라 이미지와 구별한다.

ABSTRACT

Image forensics is an increasingly relevant problem, as it can potentially address online disinformation campaigns and mitigate problematic aspects of social media. Of particular interest, given its recent successes, is the detection of imagery produced by Generative Adversarial Networks (GANs), e.g. `deepfakes'. Leveraging large training sets and extensive computing resources, recent work has shown that GANs can be trained to generate synthetic imagery which is (in some ways) indistinguishable from real imagery. We analyze the structure of the generating network of a popular GAN implementation, and show that the network's treatment of color is markedly different from a real camera in two ways. We further show that these two cues can be used to distinguish GAN-generated imagery from camera imagery, demonstrating effective discrimination between GAN imagery and real camera images used to train the GAN.

연구 동기 및 목표

• 이미지 포렌식의 동기를 부여하여 GAN 생성 이미지와 온라인 허위정보에 대응한다.
• GAN 생성기 아키텍처를 분석해 GAN 출력과 실제 이미지를 구분하는 색상 기반 단서를 식별한다.
• 제한된 학습 데이터로도 작동하는 이러한 단서를 활용한 실용적 탐지기를 제안한다.
• GAN과 카메라 이미지의 구별력을 평가하기 위해 벤치마크 데이터셋에서 탐지기를 평가한다.

제안 방법

• GAN 생성기가 깊이 계층을 RGB 채널로 축소하는 방식을 검토하고 학습된 가중치를 카메라 스펙트럼 응답과 비교한다.
• r-vs-g 크로마티시티 히스토그램을 INH 기반 분류기와 함께 사용하여 색상 형성 단서를 탐지한다.
• 과다 노출/저노출 픽셀의 빈도를 측정하는 채도 기반 특징을 계산하고 이 특징들로 선형 SVM을 학습한다.
• 이 접근법을 NIST Media Forensics Challenge 2018의 두 데이터세트 GAN Crop 및 GAN Full에 적용한다.

실험 결과

연구 질문

• RQ1 GAN 생성기에 있는 색상 형성 단서를 활용해 GAN으로 생성된 이미지를 실제 카메라 이미지와 구분할 수 있는가?
• RQ2 정규화와 다중 채널 깊이-대-RGB 축소가 검출 가능한 채도 또는 색상 통계 인자를 만들어내는가?
• RQ3 다양한 조작 시나리오에서 벤치마크 GAN 데이터셋에 대한 채도 기반 및 색상 기반 포렌식의 효과는 어떠한가?

주요 결과

• 채도 기반 특징은 상당한 구분력을 보이며, 완전 GAN 생성 이미지에서 AUC 0.70, GAN Full 이미지에서 AUC 0.61이다.
• 색상 기반 포렌식은 거의 무작위에 가깝게 수행되며 두 데이터셋에서 각각 AUC 0.56 및 0.54이다.
• GAN의 정규화는 채도를 억제하는 경향이 있어 실제 카메라 이미지에 비해 노출 변동성이 감소한다.
• GAN의 색상 채널 형성은 실제 카메라의 스펙트럼 민감도와 다른 학습 가중치를 사용하므로 색상 통계로 탐지가 가능해진다.
• 색상 포렌식 방법은 훈련 데이터의 제약과 일부 실제 이미지의 포커스 조작 가능성으로 인해 한계가 있다.