[논문 리뷰] Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis

Yang He, Ning Yu외 2명|arXiv (Cornell University)|2021. 05. 29.

Digital Media Forensic Detection참고 문헌 39인용 수 6

한 줄 요약

이 논문은 초해상도, 노이즈 제거, 색조화를 통한 재합성 기반으로, 가짜와 진짜 이미지를 구분하기 위한 강력하고 고수준의 시각적 특징을 추출하는 새로운 딥페이크 탐지 방법을 제안한다. 진짜 이미지에 대해 재합성기(re-synthesizer)를 훈련시키고 다단계 재구성 오차를 분석함으로써, 이 방법은 우수한 탐지 정확도, 다양한 아키텍처 간 일반화 능력, 그리고 적대적 편향에 대한 강건성을 확보하며, CelebA-HQ, FFHQ, LSUN 데이터셋에서 주파수 기반 방법들을 능가한다.

ABSTRACT

The rapid advances in deep generative models over the past years have led to highly realistic media, known as deepfakes, that are commonly indistinguishable from real to human eyes. These advances make assessing the authenticity of visual data increasingly difficult and pose a misinformation threat to the trustworthiness of visual content in general. Although recent work has shown strong detection accuracy of such deepfakes, the success largely relies on identifying frequency artifacts in the generated images, which will not yield a sustainable detection approach as generative models continue evolving and closing the gap to real images. In order to overcome this issue, we propose a novel fake detection that is designed to re-synthesize testing images and extract visual cues for detection. The re-synthesis procedure is flexible, allowing us to incorporate a series of visual tasks - we adopt super-resolution, denoising and colorization as the re-synthesis. We demonstrate the improved effectiveness, cross-GAN generalization, and robustness against perturbations of our approach in a variety of detection scenarios involving multiple generators over CelebA-HQ, FFHQ, and LSUN datasets. Source code is available at https://github.com/SSAW14/BeyondtheSpectrum.

연구 동기 및 목표

• 고급 GAN이 쉽게 숨길 수 있는 취약한 저수준 또는 주파수 영역 잔여물에 의존하는 기존 딥페이크 탐지기의 한계를 해결하기 위해.
• 재합성에서 유도된 계층적 시각적 단서를 활용하여 진화하는 GAN 아키텍처와 적대적 편향에 강건한 탐지 방법을 개발하기 위해.
• 다양한 데이터셋과 알려지지 않은 생성기들 간의 딥페이크 탐지에서의 일반화 능력과 강건성을 향상시키기 위해.
• 다단계 재구성 오차에서 유도된 고수준 특징이 전통적인 주파수 기반 또는 국소 잔여물 분석보다 더 신뢰할 수 있는 특징을 제공할 수 있음을 입증하기 위해.

제안 방법

• 진짜 이미지에 대해 초해상도, 노이즈 제거, 색조화 세 가지 시각 작업을 사용하여 자연 이미지의 사전 지식을 모델링하는 재합성기를 훈련시킨다.
• 재합성기는 진짜 및 가짜 이미지를 모두 처리하여 다단계 네트워크 단계에서 재구성 오차를 생성한다.
• 다단계 재구성 오차 특징을 기반으로 분류기를 훈련시켜 주파수 영역 잔여물에 영향을 받지 않는 탐지 기능을 구현한다.
• 픽셀 수준의 입력과 단계별 특징(예: 단계 5)을 사용하여 탐지기 독립적인 표현을 추출한다.
• 재합성 과정에서 노이즈가 포함된 입력을 도입함으로써 과적합을 방지하고, 편향에 대한 강건성을 향상시킨다.
• 분류기는 재구성 오차에 대해 엔드 투 엔드로 훈련되어 주파수 도메인 패tern에 의존하지 않는 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 재합성 기반 특징은 주파수 잔여물에 의존하지 않고도 딥페이크 탐지 성능을 향상시킬 수 있는가?
• RQ2 초해상도, 노이즈 제거, 색조화를 포함한 다중 작업 재합성은 탐지의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 이러한 방법은 StyleGAN, StyleGAN2, ProGAN과 같은 다양한 GAN 아키텍처에 얼마나 잘 일반화되는가?
• RQ4 기존의 잔여물이 숨겨지는 적대적 편향 조건에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 재합성기에서 유도된 계층적 재구성 오차는 저수준 또는 주파수 기반 단서보다 더 지속 가능한 특징 표현으로 기능할 수 있는가?

주요 결과

• StyleGAN2로 생성된 딥페이크 이미지가 포함된 FFHQ 데이터셋에서, SR+C 재합성 기반의 제안된 방법은 92.7%의 정확도를 기록했으며, DCT-2d(80.0%) 및 기타 최신 기법들을 능가했다.
• 단계 5 재구성 오차 모델은 StyleGAN 기반의 FFHQ에서 87.7%의 정확도를 기록하여 다양한 GAN 유형 간의 강력한 일반화 능력을 입증했다.
• LSUN 데이터셋에서는 SR+C 및 SR+D 버전이 편향 조건에서도 95% 이상의 정확도를 유지했고, 다른 방법들은 70% 이하로 떨어졌다.
• 픽셀 기반 재합성 모델은 FFHQ에서 평균 78.7%의 정확도를 기록했으며, StyleGAN2 기반 DCT-2d를 능가해 더 높은 강건성을 입증했다.
• 클래스 활성화 맵 분석 결과, 이 방법은 LSUN에서 배경 영역에 집중하는 것으로 나타났는데, 이는 구조적 일관성 결여에 민감함을 시사한다.
• 다양한 재합성 작업을 조합함으로써, 이 방법은 특히 편향에 대한 안정성과 강건성이 뛰어나다는 것을 입증했다.