[논문 리뷰] T-GD: Transferable GAN-generated Images Detection Framework

Hyeonseong Jeon, Young Oh Bang외 2명|arXiv (Cornell University)|2020. 08. 10.

Digital Media Forensic Detection인용 수 6

한 줄 요약

T-GD는 교사-학생 distillation을 활용한 자기학습 프레임워크를 제안하여 GAN 생성 이미지 검출의 이식성 향상에 기여한다. $L^2$-시작점 정규화와 내부 클래스 Cutmix 증강 기법을 적용하였으며, GAN 메타데이터나 광범위한 데이터에 의존하지 않고도 소스 및 타겟 데이터셋에서 최신 기술 수준의 성능을 달성하였다. 특히 PGGAN에서 AUROC가 2.40% 향상되었고, StarGAN에서는 10.04% 향상되었다.

ABSTRACT

Recent advancements in Generative Adversarial Networks (GANs) enable the generation of highly realistic images, raising concerns about their misuse for malicious purposes. Detecting these GAN-generated images (GAN-images) becomes increasingly challenging due to the significant reduction of underlying artifacts and specific patterns. The absence of such traces can hinder detection algorithms from identifying GAN-images and transferring knowledge to identify other types of GAN-images as well. In this work, we present the Transferable GAN-images Detection framework T-GD, a robust transferable framework for an effective detection of GAN-images. T-GD is composed of a teacher and a student model that can iteratively teach and evaluate each other to improve the detection performance. First, we train the teacher model on the source dataset and use it as a starting point for learning the target dataset. To train the student model, we inject noise by mixing up the source and target datasets, while constraining the weight variation to preserve the starting point. Our approach is a self-training method, but distinguishes itself from prior approaches by focusing on improving the transferability of GAN-image detection. T-GD achieves high performance on the source dataset by overcoming catastrophic forgetting and effectively detecting state-of-the-art GAN-images with only a small volume of data without any metadata information.

연구 동기 및 목표

• 미리 보지 못한 GAN 아키텍처에 적용되었을 때 GAN-이미지 검출 모델의 낮은 이식성 문제를 해결한다.
• 전이 학습 중 치명적인 잊힘 현상을 극복하기 위해 소스 데이터셋에서의 지식을 유지한다.
• 메타데이터나 아티팩트를 사용하지 않고도 저데이터 환경과 미리보지 않은 GAN 모델에서 검출 성능을 향상시킨다.
• 교사-학생 상호작용을 통해 정규화 강도를 동적으로 제어하는 자기학습 프레임워크를 개발한다.
• StyleGAN, PGGAN, StarGAN과 같은 다양한 GAN 모델 간에 강건성과 일반화 능력을 입증한다.

제안 방법

• 소스 데이터셋에서 사전 훈련된 교사 모델이 타겟 데이터셋 훈련 중에 학생 모델를 안내하는 교사-학생 distillation 프레임워크를 적용한다.
• $L^2$-시작점(SPAR) 정규화를 적용하여 학생 모델의 가중치 갱신을 제약함으로써 소스에서의 사전 훈련된 지식을 유지한다.
• 내부 클래스 Cutmix—동일한 클래스(실제 또는 GAN 생성)의 패치를 혼합하는 데이터 증강 기법—을 도입하여 이진 분류 훈련의 안정성을 향상시킨다.
• 과도한 피팅을 줄이고 강건성을 향상시키기 위해 가우시안 블러와 JPEG 압축을 추가로 증강 기법으로 활용한다.
• 전이 학습 중 최적화 안정성을 향상시키기 위해 가중치 표준화(WS), 그룹 정규화(GN), 낮은 학습률 및 동역수를 통합한다.
• 자기학습을 통해 학생 모델을 반복적으로 개선하며, 교사 모델이 성능 피드백에 따라 정규화 강도를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 자기학습 프레임워크와 교사-학생 distillation을 통해 다양한 GAN 아키텍처 간의 GAN-이미지 검출 이식성 향상이 가능한가?
• RQ2 내부 클래스 Cutmix는 표준 외부 클래스 Cutmix와 비교해 이진 GAN-이미지 검출 훈련의 안정성 향상에 어떤 영향을 미치는가?
• RQ3 $L^2$-SP 정규화를 통해 메타데이터 없이도 전이 학습 중 치명적인 잊힘 현상을 어느 정도 방지할 수 있는가?
• RQ4 JPEG, 블러, Cutmix 등의 다양한 증강 기법을 조합하면 저데이터 타겟 데이터셋에서 과적합을 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ5 소량의 타겟 데이터와 GAN 전용 메타데이터 없이도 전이 학습 성능을 크게 향상시킬 수 있는가?

주요 결과

• 자기학습을 적용한 결과, T-GD는 기준 모델 대비 PGGAN 타겟 데이터셋에서 AUROC를 2.40% 향상시켜 92.54%에서 94.94%로 개선했다.
• StarGAN 소스 데이터셋에서 데이터 증강을 통해 AUROC가 85.04%에서 95.08%로 상승하여 과적합이 효과적으로 완화됨을 확인했다.
• 내부 클래스 Cutmix는 표준 Cutmix 대비 소스(StarGAN) 및 타겟(PGGAN) 데이터셋에서 검증 손실을 감소시키고 성능을 향상시켰다.
• PGGAN에서 사전 훈련한 후, 소스 데이터셋(StarGAN)에서 99.15%의 AUROC, 타겟 데이터셋(StyleGAN2)에서 99.38%의 AUROC를 기록하여 강력한 이식성 잠재력을 입증했다.
• T-GD는 GAN 모델 메타데이터를 전혀 사용하지 않고도 기존 방법들을 초월하여 소스 및 타겟 데이터셋에서 모두 뛰어난 성능을 달성하여 일반화 능력이 뛰어남을 입증했다.
• PGGAN 데이터셋은 전이 학습에 있어 최적의 소스로 평가되었으며, 모든 평가된 타겟 GAN 모델에서 가장 높은 성능을 기록했다.