[논문 리뷰] On the generalization of GAN image forensics

Xinsheng Xuan, Bo Peng외 2명|arXiv (Cornell University)|2019. 02. 27.

Digital Media Forensic Detection참고 문헌 19인용 수 9

한 줄 요약

이 논문은 GAN 이미지 포렌식 모델의 일반화 능력을 향상시키기 위해 훈련 중에 가우시안 블러 또는 노이즈를 적용하는 새로운 이미지 전처리 전략을 제안한다. 불안정한 저수준 노이즈 아티팩트를 억제함으로써 모델은 더 내재된 특징을 학습하도록 유도되며, 이는 새로운 GAN 유형에 대해 검출 성능을 향상시킨다. 분포 이질성으로 인한 성능 향상이 제한적이지만, 예측되지 않은 가짜 이미지 데이터셋에서 TNR가 10% 향상되었다.

ABSTRACT

Recently the GAN generated face images are more and more realistic with high-quality, even hard for human eyes to detect. On the other hand, the forensics community keeps on developing methods to detect these generated fake images and try to guarantee the credibility of visual contents. Although researchers have developed some methods to detect generated images, few of them explore the important problem of generalization ability of forensics model. As new types of GANs are emerging fast, the generalization ability of forensics models to detect new types of GAN images is absolutely an essential research topic. In this paper, we explore this problem and propose to use preprocessed images to train a forensic CNN model. By applying similar image level preprocessing to both real and fake training images, the forensics model is forced to learn more intrinsic features to classify the generated and real face images. Our experimental results also prove the effectiveness of the proposed method.

연구 동기 및 목표

• 기존의 GAN 이미지 포렌식 모델이 새로운 GAN 아키텍처에 대해 일반화 능력이 떨어지는 데 대한 핵심적인 문제를 해결하기 위해.
• 이미지 전처리가 다양한 새로운 GAN으로 생성된 얼굴 이미지를 탐지할 수 있는 포렌식 컨볼루션 네트워크의 능력을 향상시킬 수 있는지 조사하기 위해.
• 낮은 수준의 노이즈 아티팩트를 이용하는 것에서 더 견고하고 내재된 이미지 특징을 학습하는 데 초점을 옮겨, 다양한 모델 간 탐지 성능을 향상시키기 위해.
• 훈련 중에 타겟 도메인의 가짜 예제가 필요 없도록 하는 방법을 개발하여 실세계 적용 가능성을 확보하기 위해.

제안 방법

• GAN 생성 이미지의 불안정한 저수준 노이즈 신호를 방해하기 위해 훈련 중에 가우시안 블러(GB) 또는 가우시안 노이즈(GN)를 전처리로 적용한다.
• 실제 이미지와 전처리된 가짜 이미지를 모두 사용하여 포렌식 컨볼루션 네트워크를 훈련시켜, 모델이 특정 모델의 아티팩트가 아닌 더 높은 수준의 내재된 특징을 학습하도록 유도한다.
• 표준 교차 엔트로피 손실과 분류 헤드를 사용하여 전처리된 데이터에서 끝에서 끝까지 모델을 훈련시킨다.
• PG-GAN, WGAN-GP, StyleGAN 등의 다른 GAN 유형에서의 테스트 세트에서 모델을 평가하여 제로샷 일반화 능력을 평가한다.
• 전처리를 사용하지 않는 기준 모델(M)과의 성능 비교를 통해 전처리의 일반화에 미치는 영향을 분리한다.
• 다양한 GAN 생성 가짜 이미지 유형 간의 분포 이질성을 시각화하기 위해 이차원 특징 공간 시각화를 사용한다.

실험 결과

연구 질문

• RQ1 훈련 중 이미지 전처리를 통해 새로운 GAN 아키텍처에 대한 GAN 이미지 포렌식 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 낮은 수준의 노이즈 아티팩트를 억제하면 이전에 보지 못한 가짜 이미지 유형에 대해 더 나은 검출 성능를 달성할 수 있는가?
• RQ3 낮은 수준의 노이즈 패턴에 의존하는 기준 모델과 비교할 때, 제안된 방법은 제로샷 탐지 성능에서 어떻게 다른가?
• RQ4 전처리가 도메인 외부의 GAN 생성 이미지에 대해 TNR과 ACC를 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 전처리 방법(GB 또는 GN)은 새로운 GAN 유형에 대한 일반화 성능을 향상시키며, 기준 모델 대비 WGAN-GP 및 StyleGAN 테스트 세트에서 TNR이 10% 향상되었다.
• 전처리를 적용한 모델는 내부 도메인 테스트 세트에서 높은 정확도(95% 이상)를 유지하여, 볼 수 있는 데이터에서 성능 저하가 없음을 보여준다.
• 기준 모델(M)은 내부 도메인 데이터에서 95% 이상의 정확도를 달성하지만, 새로운 GAN 유형에서는 성능이 급격히 떨어지며(34.12% TNR), 일반화 능력이 떨어지는 것으로 나타났다.
• 일반화 능력 향상은 WGAN-GP와 StyleGAN 등 다양한 테스트 세트에서 일관되게 관찰되었으며, TNR 약 10% 향상과 함께 ACC 향상도 관찰되었다.
• 결과는 불안정한 저수준 노이즈를 억제함으로써 모델이 더 견고하고 내재된 특징을 학습하도록 유도되며, 이는 다양한 GAN 아키텍처 간에 더 잘 일반화된다는 것을 시사한다.
• 성능 향상에도 불구하고 전체적인 성능 향상은 제한적이며, GAN 유형 간의 분포 이질성이 일반화에 있어 여전히 주요 과제임을 시사한다.