[논문 리뷰] Leveraging Frequency Analysis for Deep Fake Image Recognition

J. Howard Frank, Thorsten Eisenhofer외 4명|arXiv (Cornell University)|2020. 03. 19.

Digital Media Forensic Detection참고 문헌 51인용 수 208

한 줄 요약

본 논문은 2D DCT를 사용하여 주파수 영역에서 GAN으로 생성된 이미지를 분석하고, 아키텍처 간 업샘플링에서 비롯된 아티팩트를 밝히며, 주파수 기반 탐지기가 매개변수 수가 더 적고 강건성이 더 큰 이미지 도메인 방법보다 우수한 성능을 보일 수 있음을 보인다.

ABSTRACT

Deep neural networks can generate images that are astonishingly realistic, so much so that it is often hard for humans to distinguish them from actual photos. These achievements have been largely made possible by Generative Adversarial Networks (GANs). While deep fake images have been thoroughly investigated in the image domain - a classical approach from the area of image forensics - an analysis in the frequency domain has been missing so far. In this paper, we address this shortcoming and our results reveal that in frequency space, GAN-generated images exhibit severe artifacts that can be easily identified. We perform a comprehensive analysis, showing that these artifacts are consistent across different neural network architectures, data sets, and resolutions. In a further investigation, we demonstrate that these artifacts are caused by upsampling operations found in all current GAN architectures, indicating a structural and fundamental problem in the way images are generated via GANs. Based on this analysis, we demonstrate how the frequency representation can be used to identify deep fake images in an automated way, surpassing state-of-the-art methods.

연구 동기 및 목표

• GAN 생성 이미지의 자동 탐지 필요성을 인간이 딥페이크를 구분하기 어려운 점 때문에 제기한다.
• 주파수 영역의 아티팩트가 GAN 아키텍처, 데이터셋, 해상도 전반에 걸쳐 보편적인 현상인지 조사한다.
• 주파수 영역 아티팩트의 원인을 식별하고 주파수 기반 탐지 방법의 효과를 평가한다.
• 주파수 영역 분류기가 이미지 영역의 최첨단 접근법보다 정확성과 효율성 면에서 우수하다는 점을 입증한다.

제안 방법

• 이미지를 주파수 영역으로 변환하기 위해 2D type-II DCT(JPEG와 동일), 로그 스케일 계수로 표준화하고 정규화한다.
• 실제 이미지와 가짜 이미지를 구분하기 위해 DCT 특징에서 선형 및 비선형 분류기를 평가한다.
• 주파수 인공물에 대한 영향력을 확인하기 위해 업샘플링 기술(가장 가까운 이웃, 항알리아싱이 포함된 양선형, 이항)들을 비교한다.
• DCT 특징과 원시 픽셀에서 다양한 탐지기(리지 회귀, 얕은 CNN, Yu 등의 CNN)를 학습하고 평가한다.
• 잡음, 자르기, 압축, 흐림 등의 섭동에 대한 강건성 및 데이터 효율성(20% 데이터로 학습)을 평가한다.
• 결정에 기여하는 주파수들을 해석하기 위해 분류기 가중치를 주파수 공간으로 역매핑한다.

실험 결과

연구 질문

• RQ1 GAN 생성 이미지가 아키텍처와 데이터셋 전반에 걸쳐 일관된 주파수 영역 아티팩트를 보이는가?
• RQ2 관찰된 주파수 아티팩트가 주로 GAN 생성기에서의 업샘플링 작동으로 인해 발생하는가?
• RQ3 주파수 영역 표현은 정확하고 매개변수 효율적인 딥 페이크 탐지를 가능하게 하는가?
• RQ4 주파수 영역 탐지기가 업샘플링 변형에 대해 일반화되고 일반적인 이미지 섭동에 대해 저항력을 가지는가?
• RQ5 주파수 영역 방법이 특정 이미지의 GAN 아키텍처를 식별하는 데 사용될 수 있는가?

주요 결과

• GAN 생성 이미지가 아키텍처, 데이터셋, 해상도 전반에서 주파수 영역에 심각하고 일관된 아티팩트를 보인다.
• 아티팩트는 GAN 생성기의 업샘플링과 연관되어 있으며, 더 정교한 업샘플링(항알리아싱)은 이를 줄이기는 하지만 제거하지는 못한다.
• 주파수 영역 분류기가 높은 정확도를 달성하며, 일부 설정에서는 DCT 공간에서 선형 분리가 가능하다(예: 실제 vs StyleGAN); 이미지 영역 CNN보다 훨씬 적은 매개변수가 필요하다.
• 주파수 영역 모델은 픽셀 도메인 모델에 비해 상당한 이점을 보이며, 예를 들어 FFHQ 대 StyleGAN에서 표 1의 픽셀 기반에서 75.78%에서 DCT 기반에서 100.00%로 정확도가 향상된다.
• 업샘플링 변형에 대해 DCT 기반 분류기가 강력한 성능을 유지하며 일부 설정에서 최대 약 47%의 이점을 보인다(표 3).
• 주파수 영역 분류기는 데이터 효율성이 더 높아 더 적은 데이터로도 수렴 속도가 빨라 높은 정확도를 유지한다(표 4).
• 이 탐지기는 여러 석동(블러, 자르기, 압축, 노이즈)에 대해 강건성을 보이지만 adversarial 섭동에 대해서는 그렇지 않다.