[논문 리뷰] Detecting and Simulating Artifacts in GAN Fake Images

Xu Zhang, Svebor Karaman외 1명|arXiv (Cornell University)|2019. 07. 15.

Digital Media Forensic Detection참고 문헌 15인용 수 41

한 줄 요약

본 논문은 GAN 아티팩트를 시뮬레이션하는 AutoGAN과 GAN 생성 이미지를 구분하는 스펙트럼 기반 탐지기를 소개하여, 대상 GAN 모델에 접근할 수 없더라도 강한 일반화 성능을 달성한다.

ABSTRACT

To detect GAN generated images, conventional supervised machine learning algorithms require collection of a number of real and fake images from the targeted GAN model. However, the specific model used by the attacker is often unavailable. To address this, we propose a GAN simulator, AutoGAN, which can simulate the artifacts produced by the common pipeline shared by several popular GAN models. Additionally, we identify a unique artifact caused by the up-sampling component included in the common GAN pipeline. We show theoretically such artifacts are manifested as replications of spectra in the frequency domain and thus propose a classifier model based on the spectrum input, rather than the pixel input. By using the simulated images to train a spectrum based classifier, even without seeing the fake images produced by the targeted GAN model during training, our approach achieves state-of-the-art performances on detecting fake images generated by popular GAN models such as CycleGAN.

연구 동기 및 목표

• 공격자 모델이 알려지지 않은 경우 real-vs-GAN 위조 이미지 탐지의 강건성 동기를 부여한다.
• 주로 주파수 도메인에서 GAN 업샘플링으로 인한 아티팩트를 식별한다.
• 실제 이미지만을 사용하여 일반적인 GAN 파이프라인을 시뮬레이션하는 AutoGAN을 개발한다.
• 카테고리 간 일반화를 향상시키기 위한 스펙트럼 기반 분류기를 제안한다.
• 보지 않은 GAN 모델과 후처리 효과에 대한 일반화를 평가한다.

제안 방법

• 주파수 도메인에서 업샘플링 아티팩트를 식별하기 위해 GAN 생성 파이프라인을 분석한다.
• 업샘플링 중 제로 삽입이 스펙트럼을 복제한다는 이론적 근거를 제시하여 스펙트럼 기반 입력을 고무한다.
• RGB 채널의 로그-크기 스펙트럼을 입력으로 사용하는 주파수 도메인 분류기를 제안한다.
• 가짜 학습 데이터 없이 GAN과 같은 아티팩트를 재구성하는 그레이박스 GAN 시뮬레이터인 AutoGAN을 도입한다.
• 실제 이미지와 AutoGAN으로 재구성된 이미지를 사용해 분류기를 학습하여 GAN 아티팩트를 포착한다.
• 다중 의미 범주에 걸친 탐지 평가, 특히 카테고리 하나를 남겨두는 설정(leave-one-category-out)을 포함하고, 후처리 및 서로 다른 업샘플러에 대한 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 스펙트럼 기반 입력이 픽셀 기반 입력과 비교하여 GAN 위조 이미지 탐지 및 카테고리 간 일반화를 향상시킬 수 있는가?
• RQ2 GAN 시뮬레이터(AutoGAN)가 실제 가짜 이미지나 대상 GAN 모델에 접근하지 않고도 효과적인 탐지기를 훈련시킬 수 있는가?
• RQ3 스펙트럼 기반 탐지기가 보지 않은 GAN 구조나 업샘플링 모듈에 얼마나 잘 일반화되는가?
• RQ4 후처리(JPEG, 리사이즈)가 탐지에 미치는 영향은 무엇이며 재학습으로 완화할 수 있는가?

주요 결과

• CycleGAN 데이터로 학습했을 때, 스펙트럼 기반 분류기가 픽셀 기반과 비교해 카테고리 간 일반화가 더 우수하다.
• AutoGAN은 어떤 가짜 이미지도 필요 없이 훈련이 가능하고 CycleGAN 데이터에서 여전히 강건한 탐지 성능을 보여준다.
• leave-one-out 평가에서 CycleGAN 또는 AutoGAN 훈련을 사용한 스펙트럼 기반 방법은 최신 방법과 경쟁력이 있다.
• JPEG 압축이나 리사이즈와 같은 후처리는 재처리된 데이터로 재학습하지 않으면 성능을 저하시킨다.
• 훈련 중 업샘플러를 결합하는 것(Transposed Convolution과 Nearest Neighbor)이 샘플러 간 일반화를 향상시킨다.
• GauGAN 결과는 급격한 아키텍처 차이가 교차 모델 일반화를 제한하는 반면, StarGAN 결과는 스펙트럼 기반 탐지기에 더 우호적이다.