[논문 리뷰] DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models

Zeyang Sha, Zheng Li외 2명|arXiv (Cornell University)|2022. 10. 13.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 DALL·E 2와 Stable Diffusion와 같은 텍스트-이미지 모델로 생성된 가짜 이미지를 탐지하고 소스를 특정하는 DE-FAKE 시스템을 제시한다. CLIP 임베딩과 BLIP를 사용해 프롬프트 재구성하는 이미지 전용 및 하이브리드 탐지기, 그리고 높은 정확도로 소스 모델을 식별하는 다중 클래스 속성기들을 도입하며, '사람' 주제와 25~75 토큰 길이의 프롬프트가 더 진짜 같은 가짜 이미지를 생성하는 것으로 드러났다.

ABSTRACT

Text-to-image generation models that generate images based on prompt descriptions have attracted an increasing amount of attention during the past few months. Despite their encouraging performance, these models raise concerns about the misuse of their generated fake images. To tackle this problem, we pioneer a systematic study on the detection and attribution of fake images generated by text-to-image generation models. Concretely, we first build a machine learning classifier to detect the fake images generated by various text-to-image generation models. We then attribute these fake images to their source models, such that model owners can be held responsible for their models' misuse. We further investigate how prompts that generate fake images affect detection and attribution. We conduct extensive experiments on four popular text-to-image generation models, including DALL$\cdot$E 2, Stable Diffusion, GLIDE, and Latent Diffusion, and two benchmark prompt-image datasets. Empirical results show that (1) fake images generated by various models can be distinguished from real ones, as there exists a common artifact shared by fake images from different models; (2) fake images can be effectively attributed to their source models, as different models leave unique fingerprints in their generated images; (3) prompts with the ``person'' topic or a length between 25 and 75 enable models to generate fake images with higher authenticity. All findings contribute to the community's insight into the threats caused by text-to-image generation models. We appeal to the community's consideration of the counterpart solutions, like ours, against the rapidly-evolving fake image generation.

연구 동기 및 목표

• DALL·E 2와 Stable Diffusion와 같은 텍스트-이미지 모델로 생성된 고해상도 가짜 이미지의 악용 위협을 해결한다.
• 가짜 이미지를 탐지하고 그 소스 생성 모델로의 속성을 체계적으로 확보함으로써 책임 소재를 가능하게 한다.
• 프롬프트 특성들이 생성된 가짜 이미지의 진짜 같은 외형에 어떤 영향을 미치는지 조사한다.
• 텍스트-이미지 생성된 가짜 이미지에 대한 탐지 및 속성 부여에 대한 첫 번째 종합적인 연구를 제공하며, AI 안전성 연구 분야의 핵심 격차를 메운다.

제안 방법

• 텍스트-이미지 모델이 생성한 진짜 또는 가짜 이미지를 분류하기 위해 이미지 특성만을 사용해 이진 이미지 전용 탐지기를 훈련한다.
• CLIP의 이미지 임베딩과 동일한 모델의 프롬프트 임베딩을 결합한 하이브리드 탐지기를 설계하여 텍스트적 맥락을 활용해 탐지 성능을 향상시킨다.
• 실제 프롬프트가 추론 중에 제공되지 않을 경우, BLIP를 사용해 이미지에 대한 자연스러운 프롬프트를 생성한다.
• 가짜 이미지를 그 소스 생성 모델(예: Stable Diffusion, GLIDE)으로 분류할 수 있는 다중 클래스 이미지 전용 및 하이브리드 속성기를 개발한다.
• 하이브리드 탐지 및 속성 부여에서 공동 분석을 위해 CLIP의 이미지 및 텍스트 인코더를 사용해 이미지와 프롬프트를 공통 임베딩 공간에 매핑한다.
• 의미적 주제와 구조적 특성(예: 길이)을 추출해 프롬프트 분석을 수행함으로써 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 텍스트-이미지 모델로 생성된 가짜 이미지는 진짜 이미지와 신뢰성 있게 구분될 수 있는가?
• RQ2 가짜 이미지는 그 소스 텍스트-이미지 생성 모델로 정확하게 속성 부여될 수 있는가?
• RQ3 어떤 프롬프트 특성(예: 주제, 길이)이 더 진짜 같은 외형의 가짜 이미지를 생성하는가?
• RQ4 프롬프트 정보를 포함함으로써 탐지 및 속성 부여 성능이 어떻게 향상되는가?

주요 결과

• 다양한 텍스트-이미지 모델로 생성된 가짜 이미지들은 공통된 아티팩트를 공유하며, 이는 탐지기가 오직 한 모델에서만 훈련된 경우에도 효과적인 탐지가 가능하게 한다.
• 이미지와 프롬프트 임베딩을 모두 사용하는 하이브리드 탐지기 방법은 평가된 모든 모델에서 이미지 전용 탐지기보다 끈적임으로써 우월한 성능을 보인다.
• 이미지 전용 및 하이브리드 속성기 모두를 사용해 가짜 이미지를 그 소스 모델로 정확하게 속성 부여할 수 있으며, 각 모델이 고유하고 식별 가능한 지문을 남긴다는 것을 시사한다.
• ‘사람’ 주제를 가진 프롬프트는 다른 주제보다 훨씬 더 진짜 같은 외형의 가짜 이미지를 생성한다.
• 25~75 토큰의 길이를 가진 프롬프트는 이미지의 진짜 같은 외형을 높이는 데 기여하며, 프롬프트 복잡도의 '최적 영역'을 나타낸다.
• 실제 프롬프트가 제공되지 않더라도 BLIP 기반의 프롬프트 재구성 덕분에 하이브리드 탐지 방법이 강력한 성능을 보인다.