[논문 리뷰] Detection, Attribution and Localization of GAN Generated Images

Michael Goebel, Lakshmanan Nataraj외 4명|arXiv (Cornell University)|2020. 07. 20.

Digital Media Forensic Detection참고 문헌 79인용 수 10

한 줄 요약

이 논문은 수평, 수직, 대각선 방향의 RGB 픽셀 이웃의 공시행렬을 분석함으로써 GAN으로 생성된 이미지를 검출하고, 소스를 특정하며 국소화하는 딥러닝 기법을 제안한다. 이 방법은 5종의 GAN 유형에 걸쳐 276만 장 이상의 이미지로 구성된 데이터셋에서 ProGAN 및 StarGAN에 대해 97% 이상의 높은 정확도를 달성하며, JPEG 압축 조건에서도 성능을 유지한다.

ABSTRACT

Recent advances in Generative Adversarial Networks (GANs) have led to the creation of realistic-looking digital images that pose a major challenge to their detection by humans or computers. GANs are used in a wide range of tasks, from modifying small attributes of an image (StarGAN [14]), transferring attributes between image pairs (CycleGAN [91]), as well as generating entirely new images (ProGAN [36], StyleGAN [37], SPADE/GauGAN [64]). In this paper, we propose a novel approach to detect, attribute and localize GAN generated images that combines image features with deep learning methods. For every image, co-occurrence matrices are computed on neighborhood pixels of RGB channels in different directions (horizontal, vertical and diagonal). A deep learning network is then trained on these features to detect, attribute and localize these GAN generated/manipulated images. A large scale evaluation of our approach on 5 GAN datasets comprising over 2.76 million images (ProGAN, StarGAN, CycleGAN, StyleGAN and SPADE/GauGAN) shows promising results in detecting GAN generated images.

연구 동기 및 목표

• 실제 이미지와 구분이 어려운 정교한 GAN으로 생성된 이미지를 탐지하는 증가하는 도전에 대응한다.
• 초기 테스트에서 GAN 디스criminator에 의존할 경우 정확도가 80.4%에 불과한 한계를 극복한다.
• 다양한 GAN 아키텍처에 걸쳐 GAN 조작을 검출하고, 소스를 특정하며 국소화할 수 있는 강력한 방법을 개발한다.
• JPEG 압축 및 다양한 이미지 크기 조건과 같은 실제 환경 조건에서의 일반화 능력을 향상시킨다.
• 패치 기반 분석과 히트맵 시각화를 통해 GAN으로 생성된 영역의 세밀한 국소화를 가능하게 한다.

제안 방법

• 각 이미지의 국소적인 RGB 픽셀 이웃에 대해 수평, 수직, 대각선 방향의 공시행렬을 계산한다.
• 수득한 공시행렬을 직접 딥 네트워크에 입력하여 수작업 특징을 배제한 엔드 투 엔드 특징 학습을 수행한다.
• 겹치는 수신장(예: 128×128 패치, 스트라이드 8)을 갖는 패치 기반 전략을 사용하여 GAN으로 생성된 영역의 국소화를 가능하게 한다.
• 겹치는 픽셀에 대해 패치 수준의 점수를 평균화하여 국소화 히트맵을 생성한다.
• ProGAN, StarGAN, CycleGAN, StyleGAN, SPADE/GauGAN, 그리고 실제 이미지 등 특정 GAN 유형으로 이미지를 소스 분류하기 위한 다중 클래스 분류기를 훈련한다.
• 실제 환경 상황에서의 강건성을 향상시키기 위해 무작위 JPEG 압축(품질 요소 75, 85, 90 또는 미적용)을 통한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처에 걸쳐 국소 픽셀 이웃의 공시행렬이 GAN으로 생성된 이미지를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 방법은 GAN으로 생성된 이미지를 그 소스 GAN 모델로 얼마나 잘 분류하는가?
• RQ3 패치 기반 분석을 통해 방법이 이미지 내부의 GAN으로 생성된 영역을 어느 정도 정확도 있게 국소화할 수 있는가?
• RQ4 JPEG 압축과 같은 실제 이미지 처리 조건에서 이 방법의 강건성은 어느 정도인가?
• RQ5 공시행렬을 기반으로 훈련된 딥러닝 모델이 전통적인 스테고그래피 분석 또는 GAN 디스criminator 기반 탐지 방법보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• 전체 이미지 평가에서 사전 처리 없이도 실제 이미지의 분류 정확도가 0.975, StarGAN로 생성된 이미지의 정확도가 0.976에 도달했다.
• ProGAN 탐지 정확도는 전체 이미지에서 100%에 도달했으며, CycleGAN과 StarGAN는 각각 0.964와 0.976의 정확도를 기록했다.
• JPEG 압축(품질 75–90) 조건에서도 전체 정확도는 약간 감소하여 0.8088로 떨어졌지만, 모든 GAN 유형에 대해 강건성을 유지했다.
• 국소화 히트맵은 실제 영역(파란색)과 GAN으로 생성된 영역(빨간색)을 명확히 구분하였으며, 모든 GAN 유형에서 일관된 공간 패턴을 보였다.
• 딥 특징의 t-SNE 시각화 결과에서 실제 이미지와 GAN으로 생성된 이미지 간에 명확한 클러스터링이 관찰되어 효과적인 특징 분離가 가능했음을 시사했다.
• SPADE/GauGAN와 StyleGAN는 각각 0.902와 0.975의 정확도로 전체 이미지 분류에서 낮은 성능을 보였는데, 이는 데이터셋 크기, 패치 크기 또는 훈련 데이터 특성 때문일 가능성이 있다.