[논문 리뷰] On the detection of synthetic images generated by diffusion models

Riccardo Corvi, Davide Cozzolino외 4명|arXiv (Cornell University)|2022. 11. 01.

Digital Media Forensic Detection인용 수 10

한 줄 요약

이 논문은 확산 모델(DMs)에 의해 생성된 합성 이미지의 탐지 가능성에 대해 조사하며, DM으로 생성된 이미지가 GAN과 유사한 미세한 포렌식 흔적을 보이지만, 전용으로 GAN에 훈련된 최신 기술 기반 탐지기는 압축 및 크기 조정과 같은 실제 환경 조건에서 DM 이미지에 대해 성능이 떨어진다는 점을 밝혀낸다. 연구에서는 DM 전용 데이터로 미세조정된 탐지기가 높은 탐지 정확도(예: 스테이블 디퓨전 기반 97.2% AUC)를 달성하는 것으로 나타났지만, 다양한 DM 아키텍처 간 일반화는 여전히 주요 과제로 남아 있다.

ABSTRACT

Over the past decade, there has been tremendous progress in creating synthetic media, mainly thanks to the development of powerful methods based on generative adversarial networks (GAN). Very recently, methods based on diffusion models (DM) have been gaining the spotlight. In addition to providing an impressive level of photorealism, they enable the creation of text-based visual content, opening up new and exciting opportunities in many different application fields, from arts to video games. On the other hand, this property is an additional asset in the hands of malicious users, who can generate and distribute fake media perfectly adapted to their attacks, posing new challenges to the media forensic community. With this work, we seek to understand how difficult it is to distinguish synthetic images generated by diffusion models from pristine ones and whether current state-of-the-art detectors are suitable for the task. To this end, first we expose the forensics traces left by diffusion models, then study how current detectors, developed for GAN-generated images, perform on these new synthetic images, especially in challenging social-networks scenarios involving image compression and resizing. Datasets and code are available at github.com/grip-unina/DMimageDetection.

연구 동기 및 목표

• 확산 모델로 생성된 이미지가 GAN으로 생성된 이미지와 유사한 탐지 가능한 포렌식 흔적을 포함하고 있는지 평가하는 것.
• 압축 및 크기 조정과 같은 실제 조건에서 기존 최신 기술 기반 GAN 탐지기가 확산 모델로 생성된 이미지에 대해 얼마나 견고한지 평가하는 것.
• 확산 모델로 생성된 데이터로 탐지기를 훈련하면 다양한 확산 아키텍처 간 탐지 성능 향상이 이루어지는지 조사하는 것.
• 다양한 합성 이미지 소스 간 일반화를 향상시키기 위한 융합 및 校정 기법 탐색

제안 방법

• DALL·E 2, 스테이블 디퓨전, 글라이드, ADM 등을 포함한 최신 텍스트-이미지 확산 모델을 사용해 대규모 합성 이미지 데이터셋을 생성하였다.
• 소셜 미디어 처리를 시뮬레이션하기 위해 실제적인 이미지 가공 절차를 적용하였으며, 이는 임의의 자르기, 200×200 픽셀로 크기 조정, 65에서 100 사이의 품질 요소를 가진 JPEG 압축을 포함한다.
• 이deal한 조건과 도전적인 조건에서 GAN 및 DM으로 생성된 이미지에 대해 딥 러닝 기반 탐지기(예: Grag2021)를 훈련하고 평가하였다.
• 다른 소스 유형(예: ProGAN 및 라티스 디퓨전)에서 훈련된 모델의 예측을 융합하여 다중 아키텍처 간 탐지 성능을 향상시켰다.
• 저정밀도 환경에서의 탐지 정확도 향상을 위해 확률 보정을 위해 플랫팅 스케일링(Platt scaling)을 적용하였다.
• 다양한 확산 모델과 훈련 방식 간 탐지기 성능를 비교하기 위해 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 확산 모델로 생성된 이미지가 GAN으로 생성된 이미지와 유사한 탐지 가능한 포렌식 흔적을 보이는가?
• RQ2 기존 최신 기술 기반 GAN 탐지기가 실질적인 이미지 처리(예: 압축 및 크기 조정) 조건에서 확산 모델로 생성된 이미지를 탐지할 때 성능은 어떠한가?
• RQ3 특정 확산 모델로 탐지기를 훈련하면, 유사하거나 다른 확산 아키텍처에서 생성된 이미지를 탐지하는 데에 얼마나 향상되는가?
• RQ4 모델 융합 및 校정 기법이 다양한 합성 이미지 소스 간 탐지 정확도 향상에 의미 있는 기여를 할 수 있는가?

주요 결과

• 확산 모델로 생성된 이미지에는 탐지 가능한 포렌식 흔적이 존재하지만, DALL·E 2 및 ADM와 같이 다양한 확산 아키텍처 간에 이 흔적의 강도가 상당히 다름을 확인함.
• 실제 조건에서 최신 기술 기반 GAN 탐지기의 성능은 DM 생성 이미지에 대해 떨어지며, 평균적으로 약 50% 수준으로 정확도가 하락함으로써 일반화 능력이 열악함을 시사함.
• 라티스 디퓨전 또는 스테이블 디퓨전 데이터로 전용으로 훈련된 탐지기는 각각 해당 소스 모델에서 거의 완벽한 탐지 성능(AUC > 99.8%)을 달성함으로써 소스 특화 훈련의 중요성을 입증함.
• 다른 소스에서 훈련된 모델의 예측을 융합하면 평균 AUC는 94.1%로 향상되나, 최적의 임계값 설정이 이루어지지 않아 정확도는 여전히 낮음(64.5%).
• 플랫팅 스케일링을 통한 보정은 융합 후 정확도를 크게 향상시켜 최대 87.8%까지 상승시키지만, DALL·E 2 및 ADM처럼 고유한 아티팩트 프로파일을 가진 모델에 대해서는 탐지가 여전히 신뢰할 수 없음.
• 연구는 다양한 확산 모델 간 일반화 문제 해결이 심화된 융합 및 보정 기법이 적용된 이후에도 여전히 핵심 과제로 남아 있음을 확인함.