[논문 리뷰] DA-FDFtNet: Dual Attention Fake Detection Fine-tuning Network to Detect Various AI-Generated Fake Images

Young Oh Bang, Simon S. Woo|arXiv (Cornell University)|2021. 12. 22.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 사전 학습된 CNN 기반 백본을 사용하여 다양한 AI 생성 가짜 얼굴 이미지를 탐지하기 위해 Fine-Tune Transformer (FTT), MobileNetV3 블록(MBblockV3), 채널 주의 모듈을 통합한 피니터닝 신경망인 DA-FDFtNet을 제안한다. 단지 1,000장의 진짜 이미지와 1,000장의 가짜 이미지만을 사용하여 피니터닝함으로써, FaceForensics++ 데이터셋에서 97.02%의 정확도를 달성하며, 기준 모델 대비 최대 47%의 정확도 향상을 기록한다.

ABSTRACT

Due to the advancement of Generative Adversarial Networks (GAN), Autoencoders, and other AI technologies, it has been much easier to create fake images such as "Deepfakes". More recent research has introduced few-shot learning, which uses a small amount of training data to produce fake images and videos more effectively. Therefore, the ease of generating manipulated images and the difficulty of distinguishing those images can cause a serious threat to our society, such as propagating fake information. However, detecting realistic fake images generated by the latest AI technology is challenging due to the reasons mentioned above. In this work, we propose Dual Attention Fake Detection Fine-tuning Network (DA-FDFtNet) to detect the manipulated fake face images from the real face data. Our DA-FDFtNet integrates the pre-trained model with Fine-Tune Transformer, MBblockV3, and a channel attention module to improve the performance and robustness across different types of fake images. In particular, Fine-Tune Transformer consists of multiple numbers of an image-based self-attention module and a down-sampling layer. The channel attention module is also connected with the pre-trained model to capture the fake images feature space. We experiment with our DA-FDFtNet with the FaceForensics++ dataset and various GAN-generated datasets, and we show that our approach outperforms the previous baseline models.

연구 동기 및 목표

• 높은 현실성과 제한된 학습 데이터로 인해 점점 더 탐지가 어려워지는 AI 생성 가짜 이미지, 특히 딥페이크의 증가하는 위협에 대응하기 위해.
• 최소한의 레이블된 데이터로 다양한 GAN 및 딥페이크 생성 방법에 걸쳐 탐지 성능을 향상시키기 위해.
• 주의 메커니즘과 효율적인 아키텍처 모듈을 통합하여 모델의 강건성과 특징 학습 능력을 향상시키기 위해.
• 기존의 사전 학습된 CNN들과 호환 가능한 이식 가능하고 데이터 효율적인 탐지 프레임워크를 개발하기 위해.
• 다양한 실제 세계의 가짜 이미지 생성 기법들에 걸쳐 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 모델은 특징이 동결된 사전 학습된 CNN 백본(예: Xception, SqueezeNet)을 사용하여 네트워크를 초기화한다.
• 이미지 기반의 자기주의(self-attention)와 다운샘플링 레이어를 조합한 Fine-Tune Transformer(FTT) 모듈을 도입하여 계층적인 특징을 추출한다.
• 다양한 스케일의 공간적 및 채널 기반 특징을 효율적으로 추출하기 위해 MobileNetV3 블록(MBblockV3)을 사용한다.
• 최종 레이어에 채널 주의 모듈을 추가하여 채널 간 특징 중요도를 재조정함으로써 표현 학습을 향상시킨다.
• 작은 데이터셋에서의 일반화 성능 향상을 위해 피니터닝 중 Cutout을 사용하며, 파라미터로는 α=3, β=5 (FaceForensics++) 및 α=3, β=10 (GAN 데이터셋)를 설정한다.
• 모델은 각 데이터셋당 1,000장의 진짜 이미지와 1,000장의 가짜 이미지만을 사용하여 피니터닝되며, 이로 인해 저데이터 탐지가 가능해진다.

실험 결과

연구 질문

• RQ1 최소한의 데이터(1,000장의 진짜 이미지와 1,000장의 가짜 이미지)로도 다양한 AI 생성 가짜 이미지에 대해 높은 탐지 정확도를 달성할 수 있는가?
• RQ2 Fine-Tune Transformer와 채널 주의 모듈을 통합함으로써 표준 CNN 대비 탐지 성능 향상이 어떻게 이루어지는가?
• RQ3 제안된 DA-FDFtNet은 다양한 GAN 기반 및 딥페이크 생성 방법에 걸쳐 효과적으로 일반화되는가?
• RQ4 채널 주의 모듈은 모델 성능에 어떤 기여를 하는가? 그리고 기준 모델인 FDFtNet과 비교해보면 어떠한가?
• RQ5 기본 모델(예: SqueezeNet)의 초기 정확도가 낮더라도 모델은 높은 성능을 유지할 수 있는가?

주요 결과

• Xception을 백본으로 사용할 경우, FaceForensics++ 데이터셋에서 DA-FDFtNet은 97.02%의 정확도를 기록하며 기준 모델을 크게 앞서간다.
• 다양한 데이터셋과 백본에서 기준 모델의 정확도를 최대 47% 향상시키며, 특히 SqueezeNet을 사용한 DeepFakes 데이터셋에서 가장 높은 향상을 보였으며, 정확도는 50.00%에서 78.83%로 상승했다.
• 제거 실험에서 채널 주의 모듈은 기준 모델인 FDFtNet 대비 평균 2.3%의 성능 향상을 기여했다.
• GAN 생성 데이터셋에서는 기존 모델(SqueezeNet)이 50.00%의 정확도를 기록했음에도 불구하고, DA-FDFtNet은 기준 성능을 최대 40% 향상시켰다.
• FaceSwap, DeepFakes, Face2Face, NeuralTextures, StarGAN, PGGAN, StyleGAN, StyleGAN2를 포함한 여덟 가지의 다른 가짜 이미지 생성 유형에서 모델은 강력한 성능을 유지했다.
• α=3, β=5 (FaceForensics++) 및 α=3, β=10 (GAN 데이터셋)로 설정한 Cutout 데이터 증강 기법이 작은 학습 세트에서의 일반화 성능 향상에 효과적으로 기여했다.