[논문 리뷰] Towards Universal Fake Image Detectors that Generalize Across Generative Models

Utkarsh Ojha, Yuheng Li외 1명|arXiv (Cornell University)|2023. 02. 20.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 기존의 엔드 투 엔드로 훈련된 분류기 대신 고정된 사전 훈련된 시각-언어 특징 공간(예: CLIP-ViT)을 활용하여 다양한 생성 모델 간에 일반화되는 유니버설 가짜 이미지 검출기의 설계를 제안한다. 이러한 특징에 대해 간단한 최근접 이웃 또는 선형 프로빙을 적용함으로써, 이전의 작업에 비해 미사용된 확산 및 순차적 생성 모델에 대해 mAP가 +15.05 향상되고 정확도가 +25.90% 향상되는 최신 기술 수준의 일반화 성능을 달성한다.

ABSTRACT

With generative models proliferating at a rapid rate, there is a growing need for general purpose fake image detectors. In this work, we first show that the existing paradigm, which consists of training a deep network for real-vs-fake classification, fails to detect fake images from newer breeds of generative models when trained to detect GAN fake images. Upon analysis, we find that the resulting classifier is asymmetrically tuned to detect patterns that make an image fake. The real class becomes a sink class holding anything that is not fake, including generated images from models not accessible during training. Building upon this discovery, we propose to perform real-vs-fake classification without learning; i.e., using a feature space not explicitly trained to distinguish real from fake images. We use nearest neighbor and linear probing as instantiations of this idea. When given access to the feature space of a large pretrained vision-language model, the very simple baseline of nearest neighbor classification has surprisingly good generalization ability in detecting fake images from a wide variety of generative models; e.g., it improves upon the SoTA by +15.07 mAP and +25.90% acc when tested on unseen diffusion and autoregressive models.

연구 동기 및 목표

• 기존의 한 가지 생성 모델(예: GAN)에서 훈련된 가짜 이미지 검출기가 새로운 모델(예: 확산, 순차적 생성)의 가짜를 탐지하는 데 일반화가 부족한 문제를 해결하기 위해.
• 현재의 딥 러닝 기반 검출기가 서로 다른 생성 모델 유형 간에 일반화되지 않는 이유를 탐구하기 위해.
• 각 새로운 생성 모델에 대해 재훈련이 필요 없이도 간단하고 강력한 베이스라인을 개발하기 위해.
• 다양한 유형의 가짜 이미지를 제로샷으로 탐지할 수 있도록 하는 특징 공간의 핵심 특성들을 규명하기 위해.

제안 방법

• 이미지에서 고정된 특징을 추출하기 위해 대규모 사전 훈련된 시각-언어 모델(CLIP-ViT)을 사용하여 실수-가짜 분류를 위한 엔드 투 엔드 훈련을 피한다.
• 단일 생성 모델(예: ProGAN)에서 수집한 실수 및 가짜 이미지의 사전 계산된 특징 백업을 사용해 CLIP 특징 공간에서 최근접 이웃 검색을 통해 실수-가짜 분류를 수행한다.
• 대안적으로, 동일한 실수/가짜 특징 백업을 기반으로 선형 프로빙을 적용한다.
• 특징 백업에 대해 데이터 증강(Gaussian blur, JPEG 압축)을 적용하여 일반적인 후처리 공격에 대한 강건성을 향상시킨다.
• 확산(LDM, Glide) 및 순차적 생성(DALL-E) 모델을 포함한 새로운 생성 모델에 대해 일반화 성능을 평가한다.
• 데이터셋 크기, 특징 공간의 품질, 데이터 분포가 탐지 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 왜 현재의 가짜 이미지 검출기가 GAN에서 확산 모델로의 일반화에 실패하는가?
• RQ2 고정된 사전 훈련된 특징 공간을 통해 미세조정 없이도 새로운 생성 모델의 가짜 이미지를 제로샷으로 탐지할 수 있는가?
• RQ3 어떤 특징 공간의 특성이 유니버설 가짜 이미지 검출에 효과적인가?
• RQ4 엔드 투 엔드로 훈련된 모델에 비해 최근접 이웃 또는 선형 프로빙과 같은 단순한 베이스라인의 모델 간 일반화 성능는 어떻게 비교되는가?
• RQ5 선형 프로빙 중 데이터 증강이 Gaussian blur 및 JPEG 압축과 같은 일반적인 이미지 조작에 대해 강건성을 얼마나 향상시키는가?

주요 결과

• CLIP-ViT의 특징 공간에서 최근접 이웃 분류는 새로운 확산 및 순차적 생성 모델의 가짜 이미지에 대해 기존 최신 기술 수준 대비 mAP가 +15.05 향상되고 정확도가 +25.90% 향상된다.
• CLIP 특징에 대한 선형 프로빙은 동일한 새로운 모델에 대해 mAP가 +19.49 향상되고 정확도가 +23.39% 향상되어 강력한 일반화 성능를 입증한다.
• 기존 분류기에서 실수 클래스는 저수준 아티팩트에 대한 비대칭 학습으로 인해 '수거 클래스(sink class)'가 되어 GAN 외의 가짜 이미지를 실수로 잘못 분류한다.
• 이 방법은 생성 모델 유형 간에 효과적으로 일반화된다: GAN 데이터로도 확산 및 순차적 생성 모델의 가짜 이미지를 탐지할 수 있고, 반대로도 마찬가지다.
• 인터넷 규모의 데이터로 사전 훈련된 이미지 인코더(예: CLIP)가 필수적이다; ImageNet 전용으로만 훈련된 인코더는 일반화에 실패한다.
• 백본이 이러한 강건성을 위해 명시적으로 훈련되지 않았음에도 불구하고, 일반적인 후처리 작업(Gaussian blur, JPEG 압축)에 대해 여전히 강건성이 유지된다.