[논문 리뷰] Detecting GAN generated Fake Images using Co-occurrence Matrices

Lakshmanan Nataraj, Tajuddin Manhar Mohammed외 5명|arXiv (Cornell University)|2019. 03. 15.

Digital Media Forensic Detection참고 문헌 50인용 수 54

한 줄 요약

본 논문은 RGB 채널에서 공-출현(co-occurrence) 행렬을 계산하고 심층 CNN으로 분류하여 GAN 생성 가짜 이미지를 탐지하는 방법을 제시하며, CycleGAN 및 StarGAN 데이터셋에서 약 99%의 정확도와 데이터셋 간 일반화를 보인다.

ABSTRACT

The advent of Generative Adversarial Networks (GANs) has brought about completely novel ways of transforming and manipulating pixels in digital images. GAN based techniques such as Image-to-Image translations, DeepFakes, and other automated methods have become increasingly popular in creating fake images. In this paper, we propose a novel approach to detect GAN generated fake images using a combination of co-occurrence matrices and deep learning. We extract co-occurrence matrices on three color channels in the pixel domain and train a model using a deep convolutional neural network (CNN) framework. Experimental results on two diverse and challenging GAN datasets comprising more than 56,000 images based on unpaired image-to-image translations (cycleGAN [1]) and facial attributes/expressions (StarGAN [2]) show that our approach is promising and achieves more than 99% classification accuracy in both datasets. Further, our approach also generalizes well and achieves good results when trained on one dataset and tested on the other.

연구 동기 및 목표

• 다양한 GAN 유형에 걸쳐 GAN 생성 가짜 이미지를 탐지하는 과제를 제시하고 해결하는 것이 목적이다.
• 스테가놀리시스에서 영감을 받은 공-출현 통계에 기반한 탐지 접근법을 제안한다.
• RGB 채널의 공-출현 행렬을 처리하는 엔드-투-엔드 CNN 기반 분류기를 개발한다.
• 여러 GAN 기반 데이터셋에 걸친 로버스트니스와 일반화 능력을 평가한다.

제안 방법

• 이미지의 빨강(R), 초록(G), 파랑(B) 채널에서 직접 공-출현 행렬을 계산하여 3x256x256 표현을 형성한다.
• 3x256x256 텐서를 3x3 및 5x5 컨볼루션, 풀링 및 Dense 계층이 교대로 구성된 다층 CNN에 통과시키고 adaptive SGD로 최적화한다.
• CycleGAN 및 StarGAN 데이터셋에서 학습 절반, 검증 1/4, 테스트 1/4로 학습 및 검증한다.
• 이전 방법과의 성능을 비교하고 JPEG 압축이 정확도에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 RGB 채널의 공-출현 행렬을 심층 학습과 결합하여 서로 다른 GAN 모델 전반에서 GAN 생성 이미지를 정확하게 탐지할 수 있는가?
• RQ2 제안된 방법이 하나의 GAN 기반 데이터셋에서 학습하고 다른 데이터셋에서 테스트할 때 일반화되는가?
• RQ3 JPEG 압축이 GAN 생성 이미지의 탐지 정확도에 어떤 영향을 미치는가?
• RQ4 이 데이터셋에서 제안된 방법이 최첨단 GAN 탐지 방법과 어떻게 비교되는가?

주요 결과

• CycleGAN 데이터셋에서 99.71%의 테스트 정확도, StarGAN 데이터셋에서 99.37%의 테스트 정확도를 달성한다.
• CycleGAN으로 학습하고 StarGAN에서 테스트하면 99.45% 정확도; StarGAN으로 학습하고 CycleGAN에서 테스트하면 93.42%이다.
• 평가된 범주들에서 평균적으로 여러 최첨단 방법보다 우수하지만 원본 이미지 평가에서 cityscapes, facades와 같은 특정 카테고리에서는 성능이 떨어진다.
• 원본 이미지로 학습하면 정확도를 감소시키지만 JPEG 압축 이미지로 학습하면 로버스트성이 향상된다; QF=75에서 정확도는 여전히 87.31%이다.
• 다른 GAN 아키텍처에도 불구하고 방법은 다양한 데이터셋에서 비교적 잘 일반화된다.