[논문 리뷰] On Improving Cross-dataset Generalization of Deepfake Detectors

Aakash Varma Nadimpalli, Ajita Rattani|arXiv (Cornell University)|2022. 04. 08.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 이미지별 테스트 시점 데이터 증강을 적용하여 딥페이크 탐지에서 교차 데이터셋 일반화를 향상시키는 하이브리드 지도-강화학습 프레임워크를 제안한다. 각 테스트 이미지에 대해 강화학습 에이전트가 상위-k개의 증강을 선택하고, 그들의 CNN 기반 분류 점수를 평균화함으로써, 이 방법은 셀럽-DF에서 SOTA AUC 0.669를 달성하여 기준 CNN 모델과 기존 방법들보다 크게 뛰어난 성능을 보였다.

ABSTRACT

Facial manipulation by deep fake has caused major security risks and raised severe societal concerns. As a countermeasure, a number of deep fake detection methods have been proposed recently. Most of them model deep fake detection as a binary classification problem using a backbone convolutional neural network (CNN) architecture pretrained for the task. These CNN-based methods have demonstrated very high efficacy in deep fake detection with the Area under the Curve (AUC) as high as 0.99. However, the performance of these methods degrades significantly when evaluated across datasets. In this paper, we formulate deep fake detection as a hybrid combination of supervised and reinforcement learning (RL) to improve its cross-dataset generalization performance. The proposed method chooses the top-k augmentations for each test sample by an RL agent in an image-specific manner. The classification scores, obtained using CNN, of all the augmentations of each test image are averaged together for final real or fake classification. Through extensive experimental validation, we demonstrate the superiority of our method over existing published research in cross-dataset generalization of deep fake detectors, thus obtaining state-of-the-art performance.

연구 동기 및 목표

• 도메인 이동으로 인해 CNN 기반 딥페이크 탐지기의 성능이 크게 떨어지는 문제를 해결하기 위해.
• 다양한 이미지 품질과 생성 기법을 가진 다양한 데이터셋 간의 딥페이크 탐지 모델의 강건성과 이식성 향상시키기 위해.
• 테스트 시점에 적응형이며 이미지별로 특화된 데이터 증강을 학습함으로써 도메인 이동의 영향을 줄이기 위해.
• 교차 데이터셋 딥페이크 탐지 일반화에서 최고 성능을 달성하기 위해.

제안 방법

• 강화학습(RL) 에이전트는 학습된 정책에 기반해 각 테스트 이미지에 대해 상위-k개의 데이터 증강을 선택하도록 훈련된다.
• RL 에이전트는 Q-테이블 또는 정책 네트워크(예: PPO)를 사용하여 검출 신뢰도 향상에 기여하는 보상을 최대화하는 증강을 선택한다.
• 각 테스트 이미지에 대해 여러 개의 증강된 버전을 생성하고, 그들의 CNN 기반 분류 점수를 평균화하여 최종 예측을 수행한다.
• 이 방법은 사전 훈련된 CNN 백본(예: EfficientNet V2-L, XceptionNet)과 호환되며, 훈련 후 적용되기 때문에 유연하다.
• RL 에이전트는 소스 데이터셋(예: FaceForensics++)에서 훈련되고, 이후 추가 미세조정 없이 타겟 데이터셋(예: Celeb-DF, DeeperForensics-1.0)에 적용된다.
• 이 방법은 이미지별로 증강을 선택할 수 있게 하여, 입력의 시각적 품질과 위조 특성에 적응한다.

실험 결과

연구 질문

• RQ1 강화학습에 의해 이끌리는 테스트 시점 데이터 증강이 딥페이크 탐지기의 교차 데이터셋 일반화를 향상시킬 수 있는가?
• RQ2 랜덤 또는 고정된 증강 전략에 비해 이미지별 증강 선택 전략이 도메인 이동 영향을 줄이는 데 더 효과적인가?
• RQ3 모든 데이터셋에서 탐지 성능을 최대화하기 위해 최적의 증강 수량(k)은 얼마인가?
• RQ4 한 데이터셋에서 학습된 정책이 다른 딥페이크 생성 기법을 가진 미사용 데이터셋으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 셀럽-DF에서 AUC 0.669를 달성하여 기준 CNN 모델보다 0.018 높게, 교차 데이터셋 평가에서 최고 성능을 보였다.
• 상위-3개의 증강이 가장 우수한 성능을 보였으며, FaceForensics++에서는 AUC 0.994, 셀럽-DF에서는 AUC 0.669를 기록하여 최적의 k=3을 확인했다.
• 셀럽-DF에서 EER을 0.362로 낮춰 기준 CNN 모델 대비 0.021 감소시켜 강건성이 향상됨을 보였다.
• 제거 분석을 통해 체계적인 RL 기반 증강 선택 전략이 랜덤 또는 고정된 증강 전략보다 뛰어난 성능을 내는 것으로 확인되었다.
• FaceForensics++에서 학습된 정책이 셀럽-DF와 DeeperForensics-1.0로 효과적으로 일반화되어 데이터셋 간 이식성이 확인되었다.
• 심지어 내부 데이터셋 AUC가 0.994에 이르는 높은 성능을 보였음에도 불구하고, 기준 CNN 모델은 셀럽-DF에서 0.482로 급격히 성능이 떨어지며, 교차 데이터셋 일반화의 절실한 필요성을 입증했다.