[논문 리뷰] GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image

Mingjian Zhu, Hanting Chen외 8명|arXiv (Cornell University)|2023. 06. 14.

Generative Adversarial Networks and Image Synthesis인용 수 33

한 줄 요약

GenImage은 AI 생성 이미지 탐지를 위한 백만 규모의 일반 이미지 데이터셋과 제너레이터 간 일반화 및 이미지 열화에 따른 탐지기의 일반화를 평가하기 위한 두 가지 평가 과제(크로스 제너레이터 및 열화된 이미지 분류)를 도입합니다.

ABSTRACT

The extraordinary ability of generative models to generate photographic images has intensified concerns about the spread of disinformation, thereby leading to the demand for detectors capable of distinguishing between AI-generated fake images and real images. However, the lack of large datasets containing images from the most advanced image generators poses an obstacle to the development of such detectors. In this paper, we introduce the GenImage dataset, which has the following advantages: 1) Plenty of Images, including over one million pairs of AI-generated fake images and collected real images. 2) Rich Image Content, encompassing a broad range of image classes. 3) State-of-the-art Generators, synthesizing images with advanced diffusion models and GANs. The aforementioned advantages allow the detectors trained on GenImage to undergo a thorough evaluation and demonstrate strong applicability to diverse images. We conduct a comprehensive analysis of the dataset and propose two tasks for evaluating the detection method in resembling real-world scenarios. The cross-generator image classification task measures the performance of a detector trained on one generator when tested on the others. The degraded image classification task assesses the capability of the detectors in handling degraded images such as low-resolution, blurred, and compressed images. With the GenImage dataset, researchers can effectively expedite the development and evaluation of superior AI-generated image detectors in comparison to prevailing methodologies.

연구 동기 및 목표

• ImageNet 클래스에 정렬된 백만 규모의 범용 AI 생성 이미지 데이터셠를 생성한다.
• 다양한 제너레이터(GAN 및 확산 모델)와 광범위한 콘텐츠를 포함해 강건한 탐지기 학습을 가능하게 한다.
• 실세계 시나리오를 반영하는 평가 과제를 도입한다: 크로스 제너레이터 일반화 및 열화된 이미지에 대한 강건성.
• GenImage 벤치마크에서 백본 및 기존 방법에 대한 탐지기 기초 분석을 제공한다.

제안 방법

• ImageNet 실제 이미지와 여덟 가지 최신 제너레이터(BigGAN, GLIDE, VQDM, Stable Diffusion V1.4, Stable Diffusion V1.5, ADM, Midjourney, Wukong)가 생성한 합성 이미지를 짝지어 실제/가짜 이미지 쌍을 백만 개가 넘는 데이터셋으로 구성한다.
• 1000개의 ImageNet 클래스 레이블을 사용해 균형 잡힌 가짜 세트를 생성한다(약 1.35M 개의 가짜 이미지, 약 1.33M 개의 실제 이미지).
• 백본 모델(ResNet-50, DeiT-S, Swin-T)과 기존 탐지기(CNNSpot, Spec)를 기준선으로 사용해 탐지기를 평가한다.
• 두 가지 과제를 제안한다: (i) 크로스 제너레이터 이미지 분류로 제너레이터 간 일반화를 테스트; (ii) 열화된 이미지 분류로 해상도 변화, JPEG 압축, 흐림에 대한 강건성을 테스트.
• 주파수 영역 분석 및 제너레이터 간 상관관계를 통해 왜곡 및 크로스 제너레이터 전달을 이해하기 위한 데이터셋 특성을 분석한다.

실험 결과

연구 질문

• RQ1 어떻게 한 제너레이터에서 학습된 탐지기가 다른 제너레이터로 생성된 이미지에 일반화되는가?
• RQ2 일반적인 이미지 열화(저해상도, 압축, 흐림)에서 탐지기의 성능은 어떻게 저하되는가?
• RQ3 GenImage에서 어떤 백본 아키텍처나 기존 탐지기가 더 강한 일반화를 제공하며, GAN 및 확산 기반 이미지가 성능에 어떤 영향을 주는가?
• RQ4 교차 제너레이터 및 열화 이미지 강건성을 향상시키는 데이터셋 크기, 클래스 다양성, 클래스당 이미지 수 등의 요인은 무엇인가?

주요 결과

• 동일 제너레이터로 학습 및 테스트한 탐지기는 매우 높은 정확도(최대 99.9%)를 달성하지만, 제너레이터 간 일반화는 상당히 약하며 Eight 제너레이터에서 평균 약 66.9%에 불과하다.
• Transformer 기반 백본인 Swin-T가 보고된 설정에서 가장 좋은 제너레이터 간 평균 성능을 보이며, ResNet-50 및 DeiT-S가 그 뒤를 잇는다.
• CNNSpot 및 Spec은 GAN 중심 데이터셋에서 강하지만 GenImage에서의 성능은 확 떨어지며 특히 확산 모델 생성 콘텐츠에서 한계가 나타나 제너레이터별 특화 백본이나 일반화된 백본의 필요성을 시사한다.
• 데이터 규모 증가, 클래스 다양성 확대, 클래스당 이미지 수 증가가 제너레이터 간 및 열화 이미지 정확도 향상에 큰 기여를 하며, 대규모 설정(약 1.6e5~1.62e6 이미지)에서 더 높은 성능을 달성한다.
• 열화 이미지 실험은 다양한 강건성 차이를 보여준다: CNNSpot은 JPEG 및 흐림에 대해 학습 시 전처리로 인해 강건성을 보이나, 표준 백본은 JPEG 압축 및 다운스케일링에 민감한 것으로 나타난다.
• 제너레이터 간 상관 분석은 유사한 아키텍처(예: Stable Diffusion 변형)에서의 학습이 더 나은 크로스 제너레이터 전달을 제공하는 반면 Midjourney는 일반화에 있어 여전히 도전적이다.