[논문 리뷰] X-Transfer: A Transfer Learning-Based Framework for GAN-Generated Fake Image Detection

Lei Zhang, Hao Chen외 6명|arXiv (Cornell University)|2023. 10. 07.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 지식 유실을 완화하고 GAN으로 생성된 위조 이미지를 향상된 성능으로 탐지하기 위해 두 개의 형제 신경망을 사용하는 새로운 전이 학습 프레임워크인 X-Transfer를 제안한다. 기존의 교차 엔트로피 손실과 AUC 손실을 조합함으로써, 이 방법은 99.04%의 탐지 AUC를 달성하여 기준 전이 방법 대비 약 10% 향상되었으며, 얼굴 이미지 및 비얼굴 이미지 데이터셋 간에 강력한 일반화 성능을 보였다.

ABSTRACT

Generative adversarial networks (GANs) have remarkably advanced in diverse domains, especially image generation and editing. However, the misuse of GANs for generating deceptive images, such as face replacement, raises significant security concerns, which have gained widespread attention. Therefore, it is urgent to develop effective detection methods to distinguish between real and fake images. Current research centers around the application of transfer learning. Nevertheless, it encounters challenges such as knowledge forgetting from the original dataset and inadequate performance when dealing with imbalanced data during training. To alleviate this issue, this paper introduces a novel GAN-generated image detection algorithm called X-Transfer, which enhances transfer learning by utilizing two neural networks that employ interleaved parallel gradient transmission. In addition, we combine AUC loss and cross-entropy loss to improve the model's performance. We carry out comprehensive experiments on multiple facial image datasets. The results show that our model outperforms the general transferring approach, and the best metric achieves 99.04%, which is increased by approximately 10%. Furthermore, we demonstrate excellent performance on non-face datasets, validating its generality and broader application prospects.

연구 동기 및 목표

• GAN으로 생성된 위조 이미지를 탐지할 때 전이 학습에서 발생하는 지식 유실 문제를 해결하기 위해.
• 실제 GAN 탐지 시나리오에서 흔히 발생하는 불균형 데이터셋에서의 탐지 성능 향상을 위해.
• LSUN-Cat, LSUN-Church, LSUN-Car와 같은 비얼굴 이미지 포함 다양한 데이터셋 간의 모델 일반화 성능 향상을 위해.
• 전이 과정에서 소스 및 타겟 데이터셋 모두에서 높은 성능을 유지하는 강건한 탐지 프레임워크를 개발하기 위해.
• 특히 데이터 불균형 상황에서 AUC 손실의 효과를 검증하여 모델 일반화 및 탐지 정확도 향상 여부를 평가하기 위해.

제안 방법

• X-Transfer는 타겟 데이터셋 적응을 위한 마스터 네트워크와 소스 데이터셋의 지식를 유지하기 위한 보조 네트워크로 구성된 이중 네트워크 형제 아키텍처를 사용한다.
• 두 네트워크의 대응 레이어 간에 교대로 병렬로 기울기 전달을 수행함으로써 학습 균형을 유지하고 치명적인 유실을 줄인다.
• 모델 일반화 및 탐지 성능 향상을 위해 이진 교차 엔트로피 손실과 WMW-AUC 손실을 조합한 하이브리드 손실 함수를 통합한다.
• BCE와 AUC 구성 요소 간 균형을 맞추기 위해 AUC 손실 가중치(β)의 하이퍼파rameter 튜닝을 수행하였으며, StyleGAN2에서 StarGAN으로 전이할 경우 β = 0.6이 최적으로 확인되었다.
• 과적합을 줄이고 전이 과정에서의 강건성을 향상시키기 위해 가우시안 블러, JPEG 압축, CutMix와 같은 데이터 증강 기법을 적용한다.
• 일관성 있는 일반화 및 불균형 데이터 상황에서의 성능 평가를 위해 CelebA, FFHQ, LSUN, GauGAN 등의 여러 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 이중 네트워크 전이 학습 프레임워크는 GAN으로 생성된 이미지 탐지 전이 과정에서 지식 유실을 줄일 수 있는가?
• RQ2 표준 교차 엔트로피 손실 대비 AUC 손실 통합이 불균형 데이터셋에서 탐지 성능에 어떻게 기여하는가?
• RQ3 X-Transfer 프레임워크는 LSUN-Cat, LSUN-Church, LSUN-Car와 같은 비얼굴 이미지 데이터셋으로까지 얼마나 잘 일반화되는가?
• RQ4 X-Transfer 프레임워크에서 AUC 손실 구성 요소의 최적 하이퍼파rameter 설정은 무엇인가?
• RQ5 데이터 증강은 타겟 데이터셋에서 성능 저하 없이 전이 학습 중 탐지 강건성을 향상시키는가?

주요 결과

• X-Transfer는 타겟 데이터셋에서 99.04%의 AUC를 달성하여 기준 전이 학습 방법 대비 약 10% 향상된 성능을 보였다.
• 소스 데이터셋(98.0% AUC)과 타겟 데이터셋(98.7% AUC) 모두에서 높은 성능를 유지하여 도메인 간 균형 잡힌 성능을 입증하였다.
• 비얼굴 데이터셋에서는 LSUN-Cat에서 97.9%, LSUN-Church에서 98.1%, LSUN-Car에서 97.6%의 AUC를 기록하여 얼굴 이미지 외에도 강력한 일반화 성능을 확인하였다.
• AUC 손실 사용으로 인해 불균형 GauGAN 데이터셋에서 타겟 데이터셋 AUC가 4% 향상되었으며(87.2% → 91.2%), 클래스 불균형에 대한 강건성이 향상됨을 보였다.
• 데이터 증강은 소스 데이터셋 AUC를 93.2%에서 98.8%로 향상시켰지만, 타겟 데이터셋 AUC는 98.9%에서 97.4%로 약간 감소시켜 전반적인 강건성 향상에 기여하는 트레이드오프를 보였다.
• StyleGAN2에서 StarGAN으로 전이할 경우 AUC 손실의 최적 하이퍼파rameter β는 0.6로 확인되었으며, 이는 최고의 탐지 성능를 제공하였다.