[논문 리뷰] Level Up the Deepfake Detection: a Method to Effectively Discriminate Images Generated by GAN Architectures and Diffusion Models

Luca Guarnera, Oliver Giudice외 1명|arXiv (Cornell University)|2023. 03. 01.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 14개 클래스(9개의 GAN 아키텍처, 4개의 확산 모델(DMs), 3개의 정제된 데이터셋)로 이미지를 분류하기 위해 ResNet-34 모델을 사용하는 계층적 다중 수준 딥페이크 탐지 프레임워크를 제안한다. 이 방법은 83,000张의 이미지로 구성된 전용 데이터셋과 계층적 분류 전략을 활용하여 모든 작업에서 97% 이상의 정확도를 달성한다—실제 대 AI 생성 콘텐츠, GAN 대 DM, 특정 아키텍처 식별—기존 최고 수준의 방법을 능가한다.

ABSTRACT

The image deepfake detection task has been greatly addressed by the scientific community to discriminate real images from those generated by Artificial Intelligence (AI) models: a binary classification task. In this work, the deepfake detection and recognition task was investigated by collecting a dedicated dataset of pristine images and fake ones generated by 9 different Generative Adversarial Network (GAN) architectures and by 4 additional Diffusion Models (DM). A hierarchical multi-level approach was then introduced to solve three different deepfake detection and recognition tasks: (i) Real Vs AI generated; (ii) GANs Vs DMs; (iii) AI specific architecture recognition. Experimental results demonstrated, in each case, more than 97% classification accuracy, outperforming state-of-the-art methods.

연구 동기 및 목표

• GAN과 확산 모델(DMs)이 생성한 점점 더 현실적으로 되는 합성 이미지를 탐지하는 데 증가하는 과제를 해결한다.
• 기존의 딥페이크 탐지 방법이 주로 이진 분류(실제 대 위조)에 집중하고 특정 생성 모델을 식별하는 데 세분화된 접근이 부족한 점을 보완한다.
• AI로 생성된 콘텐츠를 탐지할 뿐 아니라 그 생성에 사용된 특정 GAN 또는 DM 아키텍처를 식별할 수 있는 종합적인 포렌식 솔루션을 개발한다.
• 다중 수준 분류를 통해 합성 이미지의 기원을 재구성함으로써 디지털 미디어에서의 포렌식 부러움을 지원하는 더 깊이 있는 다중미디어 포렌식을 실현한다.

제안 방법

• CelebA, FFHQ, ImageNet에서 온 40,500장의 정제된 이미지와 9개의 GAN 및 4개의 DM에서 온 42,500장의 합성 이미지로 구성된 전용 데이터셋 83,000장을 구축했다.
• 세 단계의 계층적 분류 파이프라인 설계: (1) 실제 대 AI 생성, (2) GAN 대 DM, (3) 특정 GAN 또는 DM 아키텍처 식별.
• 각 단계에서 ImageNet 사전 훈련 가중치를 사용한 전이 학습을 통해 ResNet-34 모델을 훈련하고, 해당 분류 작업에 맞게 완전 연결 계층을 미세 조정했다.
• 이전 단계의 예측 결과가 다음 단계의 입력을 안내하는 캐스케이드 추론 전략을 활용하여 전체 정확도와 모델의 전문화도를 향상시켰다.
• ResNet-18와 ResNet-34를 비교하여 모델 선택을 최적화하였으며, 모든 단계에서 뛰어난 성능를 보인 ResNet-34를 최종 아키텍처로 선정했다.
• 각 단계에서 표준 훈련 프로토콜을 적용하여 50% 훈련, 20% 검증, 30% 테스트 분할을 시행하여 일반화 능력과 신뢰할 수 있는 평가를 확보했다.

실험 결과

연구 질문

• RQ1 다양한 GAN 및 확산 모델 아키텍처로 생성된 이미지와 실제 이미지 간을 효과적으로 구분할 수 있는 계층적 딥러닝 프레임워크는 가능한가?
• RQ2 딥페이크 포렌식에서 평면적 단일 단계 분류 대비 다중 수준 분류 접근이 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 특히 현대의 생성 모델이 점점 더 다양하고 현실적으로 되어가는 상황에서, 제안된 방법이 특정 GAN 및 DM 아키텍처를 식별하는 데 얼마나 잘 일반화되는가?
• RQ4 기존 최고 수준의 딥페이크 탐지 방법에서 확산 모델로 생성된 이미지를 포함시키면, 특히 실체 대 AI 분류에서 성능에 어떤 영향을 미치는가?
• RQ5 복잡한 다중 소스 합성 미디어에서조차도 생성 모델을 추적함으로써 계층적 접근이 이미지 기원의 포렌식 재구성에 기여할 수 있는가?

주요 결과

• 계층적 접근은 Level 1 작업(실제 대 AI 생성 이미지)에서 97.63%의 분류 정확도를 달성하여 AutoGAN(68.5%) 및 Fakespotter(74.22%)와 같은 기존 최고 수준의 방법을 크게 능가했다.
• Level 2(구분: GAN 대 DM)에서 98.01%의 정확도를 기록하여 두 가지 다른 생성 철학을 효과적으로 분리할 수 있음을 입증했으며, 이는 이전 연구에서 거의 다루지 않은 과제였다.
• Level 3에서는 특정 GAN 아키텍처 식별에 97.77%의 정확도, 특정 확산 모델 식별에 98.02%의 정확도를 달성하여 세분화된 모델 할당의 정밀도를 입증했다.
• ResNet-34는 모든 단계에서 ResNet-18를 능가했으며, Level 1에서 최대 2.39%p, Level 3의 DM 식별에서 최대 2.73%p의 성능 향상을 보였다.
• 훈련 데이터에 DM으로 생성된 이미지를 포함시켰을 때, 기존 방법의 성능이 크게 저하되었다(예: DE-FAKE는 실체 대 AI에서 90.52%로 떨어짐), 반면 제안된 방법은 97% 이상의 정확도를 유지하여 DM에 대한 강건성을 입증했다.
• 결과는 DM이 생성한 이미지에 특별한 통계적 흔적을 남기며, 이를 신뢰성 있게 탐지하고 특정 모델 식별에 활용할 수 있음을 시사하며, 향후 포렌식 분석에 핵심적인 통찰을 제공한다.