[논문 리뷰] FDFtNet: Facing Off Fake Images using Fake Detection Fine-tuning Network

Hyeonseong Jeon, Youngoh Bang외 1명|arXiv (Cornell University)|2020. 01. 05.

Digital Media Forensic Detection참고 문헌 33인용 수 8

한 줄 요약

FDFtNet는 단 몇 개의 진짜 및 위조 이미지만을 사용하여 사전 훈련된 CNN을 향상시켜 강력한 위조 이미지 탐지 성능을 달성하는 경량의 파라미터 조정 기반 신경망 아키텍처이다. 새로운 자기주의 기반 파라미터 조정 트랜스포머(FTT) 모듈과 MobileNet V3 블록을 통합함으로써, Deepfake 데이터셋에서 97.02%의 최신 기술 수준(SOTA) 정확도와 GAN 기반 데이터셋에서 90.29%의 정확도를 달성하며, 극히 적은 데이터로도 기존 기준 모델을 크게 능가한다.

ABSTRACT

Creating fake images and videos such as "Deepfake" has become much easier these days due to the advancement in Generative Adversarial Networks (GANs). Moreover, recent research such as the few-shot learning can create highly realistic personalized fake images with only a few images. Therefore, the threat of Deepfake to be used for a variety of malicious intents such as propagating fake images and videos becomes prevalent. And detecting these machine-generated fake images has been quite challenging than ever. In this work, we propose a light-weight robust fine-tuning neural network-based classifier architecture called Fake Detection Fine-tuning Network (FDFtNet), which is capable of detecting many of the new fake face image generation models, and can be easily combined with existing image classification networks and finetuned on a few datasets. In contrast to many existing methods, our approach aims to reuse popular pre-trained models with only a few images for fine-tuning to effectively detect fake images. The core of our approach is to introduce an image-based self-attention module called Fine-Tune Transformer that uses only the attention module and the down-sampling layer. This module is added to the pre-trained model and fine-tuned on a few data to search for new sets of feature space to detect fake images. We experiment with our FDFtNet on the GANsbased dataset (Progressive Growing GAN) and Deepfake-based dataset (Deepfake and Face2Face) with a small input image resolution of 64x64 that complicates detection. Our FDFtNet achieves an overall accuracy of 90.29% in detecting fake images generated from the GANs-based dataset, outperforming the state-of-the-art.

연구 동기 및 목표

• GAN과 소수의 학습 기법에 의해 생성되는 고품질 위조 이미지의 증가하는 위협에 대응하기 위해.
• 소량의 훈련 샘플만으로도 사용 가능한 경량이고 일반화 능력이 뛰어난 위조 이미지 탐지 방법을 개발하기 위해.
• 초기 훈련을 다시 시작하지 않고도 기존 사전 훈련된 CNN의 위조 이미지 탐지 성능을 향상시키기 위해.
• 효율적인 파라미터 조정을 통해 새로운 위조 이미지 생성 모델에 신속하게 적응할 수 있도록 하기 위해.

제안 방법

• 단순한 어텐션 메커니즘과 다운샘플링 레이어만을 사용하여 새로운 특징 표현을 학습하는 새로운 이미지 기반 자기주의 모듈인 파라미터 조정 트랜스포머(FTT)를 도입한다.
• 기존 분류 헤드를 제거한 사전 훈련된 CNN 백본(예: Xception, ResNetV2, ShallowNetV3)에 FTT 모듈을 통합한다.
• 깊이 분리형 컨볼루션과 효율적인 아키텍처를 통해 특징 추출을 향상시키기 위해 MobileNet V3 블록(MBblockV3)을 활용한다.
• 소규모 데이터셋에서의 강건성을 향상시키기 위해 하이퍼파ram터 α=3 및 β=10를 사용한 Cutout 방법을 통한 데이터 증강을 적용한다.
• 표준 교차 엔트로피 손실을 사용하여 제한된 진짜 및 위조 이미지 쌍으로 FDFtNet 아키텍처를 엔드 투 엔드로 파라미터 조정한다.
• 최종 분류 레이어 이전에 글로벌 평균 풀링(GAP)을 적용하여 진짜 또는 위조 이미지 레이블을 예측한다.

실험 결과

연구 질문

• RQ1 현대의 GAN과 소수의 학습 기법으로 생성된 다양한 위조 이미지를 극히 적은 훈련 데이터로 효과적으로 탐지할 수 있는 경량의 파라미터 조정 기반 신경망 아키텍처는 가능한가?
• RQ2 자기주의 모듈(FTT)의 통합은 기존 사전 훈련된 모델의 표준 파라미터 조정 방식에 비해 탐지 성능을 어떻게 향상시키는가?
• RQ3 FDFtNet는 Progressive Growing GAN과 Face2Face와 같은 다양한 위조 이미지 생성 기법에 대해 얼마나 잘 일반화되는가?
• RQ4 제한된 데이터로도 기존 최신 기술 수준의 위조 탐지 모델을 뛰어넘는가?
• RQ5 FDFtNet는 SqueezeNet과 같은 성능이 열악한 기준 모델의 성능을 파라미터 조정을 통해 향상시킬 수 있는가?

주요 결과

• FDFtNet는 Deepfake 데이터셋에서 97.02%의 최신 기술 수준(SOTA) 정확도를 달성하여 이전 SOTA 모델(Xception)을 0.6% 뛰어넘었다.
• GAN 기반 데이터셋(Progressive Growing GAN)에서는 90.29%의 정확도를 기록하며, 저해상도(64×64)에서도 강력한 성능을 보였다.
• 절단 실험을 통해 FTT 모듈이 크게 기여하는 것으로 확인되었으며, Xception에 추가했을 때 정확도가 2.46% 향상되어 94.56%에서 97.02%로 상승했다.
• SqueezeNet(기준 정확도 50.00%)를 포함한 모든 기준 모델이 크게 향상되었으며, FDFtNet를 통한 파라미터 조정 후 SqueezeNet의 정확도는 92.82%에 도달했다.
• 모델은 다양한 데이터셋 간에서 잘 일반화되었으며, ResNetV2의 Face2Face 정확도는 58.83%에서 85.15%로 향상되었고, 해당 데이터셋에서 96.67%의 정확도를 기록했다.
• FDFtNet는 Deepfake 데이터셋에서 99.37%의 AUROC를 기록하여 진짜 이미지와 위조 이미지를 구분하는 데 높은 신뢰성을 보였다.