[논문 리뷰] PatchCraft: Exploring Texture Patch for Efficient AI-generated Image Detection

Nan Zhong, Yiran Xu외 3명|arXiv (Cornell University)|2023. 11. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 다양한 생성 모델을 통해 생성된 가짜 이미지를 탐지하기 위해 풍부한 질감 영역과 가난한 질감 영역 간의 상호 픽셀 상관관계 대비를 활용하는 보편적인 AI 생성 이미지 탐지기인 PatchCraft를 제안한다. 질감 대비 영역에서 이미지를 재구성하고 유니버설 지문 특징을 추출함으로써, 새로운 벤치마크(16개의 생성 모델 포함)에서 평균 89.31%의 정확도를 달성하며, 최신 기술 대비 약 5% 높은 성능을 보였다.

ABSTRACT

Recent generative models show impressive performance in generating photographic images. Humans can hardly distinguish such incredibly realistic-looking AI-generated images from real ones. AI-generated images may lead to ubiquitous disinformation dissemination. Therefore, it is of utmost urgency to develop a detector to identify AI generated images. Most existing detectors suffer from sharp performance drops over unseen generative models. In this paper, we propose a novel AI-generated image detector capable of identifying fake images created by a wide range of generative models. We observe that the texture patches of images tend to reveal more traces left by generative models compared to the global semantic information of the images. A novel Smash&Reconstruction preprocessing is proposed to erase the global semantic information and enhance texture patches. Furthermore, pixels in rich texture regions exhibit more significant fluctuations than those in poor texture regions. Synthesizing realistic rich texture regions proves to be more challenging for existing generative models. Based on this principle, we leverage the inter-pixel correlation contrast between rich and poor texture regions within an image to further boost the detection performance. In addition, we build a comprehensive AI-generated image detection benchmark, which includes 17 kinds of prevalent generative models, to evaluate the effectiveness of existing baselines and our approach. Our benchmark provides a leaderboard for follow-up studies. Extensive experimental results show that our approach outperforms state-of-the-art baselines by a significant margin. Our project: https://fdmas.github.io/AIGCDetect

연구 동기 및 목표

• 점점 더 현실적으로 되어가는 AI 생성 이미지가 허위 정보를 확산시키는 데 기여함에 따라, 이를 효과적으로 탐지할 수 있는 강력하고 일반화 가능한 탐지기가 절실한 필요성이 있다.
• 기존 탐지기들이 새로운 생성 모델에서 생성된 이미지를 탐지할 때 성능이 급격히 떨어지는 한계를 극복한다.
• 다양한 생성 모델 간에 일관되게 유지되는 질감 영역의 복잡성 차이를 기반으로 한 보편적인 지문 특징을 개발한다.
• 16개의 주요 생성 모델과 상용 API를 포함한 다양한 생성 모델을 대상으로 AI 생성 이미지 탐지기를 공정하게 평가하고 비교할 수 있는 종합적인 벤치마크를 구축한다.
• 상호 픽셀 상관관계 대비가 다양한 생성 모델에 관계없이 신뢰할 수 있는, 모델에 종속되지 않는 신호로써 가짜 이미지 탐지에 효과적이라는 것을 입증한다.

제안 방법

• 입력 이미지를 공간 패치로 나누고, 풍부한 질감 패치와 가난한 질감 패치를 사용하여 두 가지 버전의 이미지를 재구성함으로써 질감 기반 특징을 고립한다.
• 의미 정보를 제거하기 위해 스매시 앤 리콘스트럭션(S&R) 절차를 적용하여, 탐지기가 고수준의 의미 정보가 아닌 저수준의 질감 통계에 의존하도록 보장한다.
• 고역통과 필터를 사용하여 풍부한 질감 영역과 가난한 질감 영역 간의 상호 픽셀 상관관계 대비 특징을 추출함으로써 인위적인 질감 패턴을 탐지한다.
• 생성 모델이 무작위 노이즈에서 고엔트로피를 가진 풍부한 질감 영역을 합성하는 데 어려움을 겪는다는 본질적 특성을 유니버설 지문으로 활용한다.
• ProGAN에서 생성된 가짜 이미지에 대해 단일 분류기를 훈련하고, Stable Diffusion, BigGAN, Midjourney, DALL-E 2 등의 새로운 모델에 대한 일반화 성능을 평가한다.
• 패치 경계를 따라 고역통과 필터링을 적용하여 인위적인 질감 변동을 강화하고 블록 아티팩트를 감소시킨다.

실험 결과

연구 질문

• RQ1 풍부한 질감 영역과 가난한 질감 영역 간의 상호 픽셀 상관관계 대비가 다양한 생성 모델을 통해 생성된 AI 생성 이미지를 탐지하기 위한 보편적인 지문으로 기능할 수 있는가?
• RQ2 Midjourney나 Stable Diffusion와 같은 새로운 생성 모델에 대해 테스트했을 때, 제안된 방법의 제로샷 일반화 성능은 어떠한가?
• RQ3 패치 재구성으로 의미 정보를 제거함으로써 탐지기의 강건성과 일반화 능력이 얼마나 향상되는가?
• RQ4 스매시 앤 리콘스트럭션, 경계 필터링, 대비 특징 추출 등의 각 구성 요소가 전체 탐지 정확도에 기여하는 정도는 어느 정도인가?
• RQ5 16개의 생성 모델과 여러 탐지기를 포함한 통합 벤치마크는 AI 생성 이미지 탐지 방법의 공정하고 종합적인 평가를 가능하게 하는가?

주요 결과

• 제안된 PatchCraft 탐지기는 16개의 다양한 생성 모델을 대상으로 평균 89.31%의 탐지 정확도를 달성하며, 최신 기술 기준 대비 평균 약 5% 포인트 높은 성능을 보였다.
• 제거 실험 결과, 스매시 앤 리콘스트럭션(S&R) 구성 요소를 제거하면 정확도가 73.34%로 떨어지며, 의미 정보 억제가 일반화에 매우 중요하다는 것을 입증했다.
• 경계 인식 고역통과 필터링 구성 요소는 기여도가 높았으며, 이를 제거하면 정확도가 3.43% 감소하여 패치 수준의 아티팩트 탐지에 중요한 역할을 한다는 것을 확인했다.
• 대비 기반 특징 추출(대비 없음)은 공간 입력(의미 억제 없음)보다도 더 높은 성능을 보였으며, 이는 원본 이미지 특징보다 질감 대비가 더 효과적인 신호임을 확인했다.
• 탐지기는 새로운 모델에 대해 효과적으로 일반화된다: ProGAN 데이터로만 훈련되었음에도 불구하고, SDv1.5에서 94.57%의 정확도, DALL-E 2에서 96.75%의 정확도를 달성했다.
• 종합적인 벤치마크는 16개의 생성 모델과 8개의 탐지기를 포함하며, 향후 연구를 지원하기 위해 공개된 랭킹을 제공한다.