[논문 리뷰] A Single Simple Patch is All You Need for AI-generated Image Detection

Jiaxuan Chen, Jieteng Yao외 1명|arXiv (Cornell University)|2024. 02. 02.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 이미지에서 단일 최소 크기의 32×32 패치를 추출하고, 이 패치의 노이즈 패턴을 이진 분류기로 분석함으로써 AI 생성 이미지를 검출하는 데 매우 효과적이고 일반화 능력이 뛰어난 방법인 SSP(Single Simple Patch)를 제안한다. 단순한 구조임에도 불구하고 GenImage 데이터셋에서 가장 강력한 베이스라인 대비 14.6%의 상대적 성능 향상을 기록하며, 다양한 디퓨전 및 GAN 기반 생성기 간의 우수한 교차 생성기 일반화 성능을 입증한다.

ABSTRACT

The recent development of generative models unleashes the potential of generating hyper-realistic fake images. To prevent the malicious usage of fake images, AI-generated image detection aims to distinguish fake images from real images. However, existing method suffer from severe performance drop when detecting images generated by unseen generators. We find that generative models tend to focus on generating the patches with rich textures to make the images more realistic while neglecting the hidden noise caused by camera capture present in simple patches. In this paper, we propose to exploit the noise pattern of a single simple patch to identify fake images. Furthermore, due to the performance decline when handling low-quality generated images, we introduce an enhancement module and a perception module to remove the interfering information. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on public benchmarks.

연구 동기 및 목표

• 다양한 생성 모델, 특히 다양한 디퓨전 및 GAN 기반 생성기 간에서 기존 AI 생성 이미지 검출 방법의 열악한 일반화 성능을 해결하기 위해.
• 복잡한 아키텍처나 광범위한 초모수 튜닝 없이도 높은 성능을 달성할 수 있는 단순하면서도 견고한 기초 방법을 개발하기 위해.
• 최소한의 이미지 패치가 신뢰할 수 있는 위조 이미지 검출을 위한 충분한 분류 가능한 노이즈 패턴을 포함할 수 있음을 입증하기 위해.

제안 방법

• 입력 이미지에서 랜덤으로 192개의 32×32 패치를 추출하고, 가장 낮은 무늬 복잡도를 가진 패치를 '가장 단순한 패치'로 선택하여 구조적 내용을 최소화하고 노이즈의 가시성을 극대화한다.
• 선택된 패치의 노이즈 패턴은 표준 고역통과 필터(예: SRM 필터)를 사용해 추출되며, 이는 합성 이미지에서 흔히 나타나는 미세한 아티팩트를 강조하기 위함이다.
• 결과로 생성된 노이즈 표현은 이진 분류기에 입력되어, 노이즈 패턴의 미세한 통계적 차이를 바탕으로 진짜 이미지와 위조 이미지를 구분한다.
• 이 방법은 최소한의 파ip라인에 기반한다: 패치 선택, 단순 필터를 통한 노이즈 추출, 분류 — 복잡한 특징 공학이나 다중 브랜치 네트워크를 피한다.
• 이 방법은 한 생성기의 훈련 세트에서 학습되고 다른 생성기의 테스트 세트에서 평가되므로, 교차 생성기 일반화 평가가 가능하다.

실험 결과

연구 질문

• RQ1 단일 최소 처리 패치가 다양한 생성기 간에 AI 생성 이미지를 검출하는 데 경쟁력 있는 성능을 낼 수 있는가?
• RQ2 복잡한 최첨단 모델 대비 단순한 패치 기반 방법은 교차 생성기 검출 환경에서 어떻게 성능를 비교하는가?
• RQ3 단일 단순 패치의 노이즈 패턴이 진짜 이미지와 AI 생성 이미지를 구분하는 데 충분한 분류 정보를 포함하는가?
• RQ4 제안된 방법이 디퓨전 및 GAN 기반 모델을 포함한 다양한 생성 모델 간에 얼마나 효과적으로 일반화되는가?

주요 결과

• SSP는 GenImage 테스트 세트에서 평균 정확도 93.5%를 기록하여, 가장 강력한 베이스라인인 GenDet(81.6%) 대비 14.6%의 상대적 향상을 달성했다.
• SD V1.4 → VQDM과 같은 어려운 교차 생성기 설정에서 SSP는 94.4%의 정확도를 기록했으며, CNNSpot(56.7%) 및 F3Net(62.1%)와 같은 베이스라인을 크게 앞서갔다.
• 교차 생성기 평가에서 SSP는 ResNet-50 및 기타 강력한 베이스라인을 포함해 모든 64개의 설정에서 일관되게 뛰어난 성능을 보이며 강력한 일반화 능력을 입증했다.
• Midjourney 및 Stable Diffusion에 대한 내부 생성기 검출에서는 거의 완벽한 성능(99.4%–99.9%)을 기록하여, 익숙한 생성기에서 강력한 검출 능력을 보였다.
• 심지어 최소한의 아키텍처 복잡성에도 불구하고, SSP는 GenDet 등 기존 베이스라인이 실패하는 경우가 많은 BigGAN, ADM, GLIDE 등 다양한 생성기 간에도 효과적으로 일반화되었다.