[논문 리뷰] One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework

Shahroz Tariq, Sang Yup Lee외 1명|arXiv (Cornell University)|2021. 05. 01.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 12

한 줄 요약

이 논문은 시퀀스 영상 프레임을 활용하여 공간적 및 시간적 아티팩트를 모델링함으로써 다양한 딥페이크를 탐지하는 컨volution 레이어 기반 잔차 네트워크인 CLRNet을 제안한다. 기준 데이터셋에서 평균 97.57%의 정확도를 달성하고, 고품질의 딥페이크 인 더 월드(DFW) 영상에서는 93.86%의 정확도를 기록하여 일반화 능력에서 최신 기술보다 뛰어나다.

ABSTRACT

Deep learning-based video manipulation methods have become widely accessible to the masses. With little to no effort, people can quickly learn how to generate deepfake (DF) videos. While deep learning-based detection methods have been proposed to identify specific types of DFs, their performance suffers for other types of deepfake methods, including real-world deepfakes, on which they are not sufficiently trained. In other words, most of the proposed deep learning-based detection methods lack transferability and generalizability. Beyond detecting a single type of DF from benchmark deepfake datasets, we focus on developing a generalized approach to detect multiple types of DFs, including deepfakes from unknown generation methods such as DeepFake-in-the-Wild (DFW) videos. To better cope with unknown and unseen deepfakes, we introduce a Convolutional LSTM-based Residual Network (CLRNet), which adopts a unique model training strategy and explores spatial as well as the temporal information in deepfakes. Through extensive experiments, we show that existing defense methods are not ready for real-world deployment. Whereas our defense method (CLRNet) achieves far better generalization when detecting various benchmark deepfake methods (97.57% on average). Furthermore, we evaluate our approach with a high-quality DeepFake-in-the-Wild dataset, collected from the Internet containing numerous videos and having more than 150,000 frames. Our CLRNet model demonstrated that it generalizes well against high-quality DFW videos by achieving 93.86% detection accuracy, outperforming existing state-of-the-art defense methods by a considerable margin.

연구 동기 및 목표

• 특정 기준 데이터셋에서 훈련된 기존 딥페이크 탐지 모델의 일반화 부족 문제를 해결한다.
• 알 수 없는 및 실세계(DFW) 생성 방법을 포함한 여러 딥페이크 유형을 식별할 수 있는 통합 탐지 프레임워크를 개발한다.
• 실세계에서 퍼진 알려지지 않은 딥페이크 생성 기법에 대한 모델의 강건성 향상.
• 인터넷에서 수집한 고품질, 대규모 DFW 데이터셋을 활용해 탐지 성능을 평가한다.
• 다양한 딥페이크 유형에서 높은 정확도를 유지하면서 치명적인 기억 상실을 방지하는 실용적이고 이식 가능한 방어 전략 수립.

제안 방법

• 연속적인 영상 프레임 시퀀스를 처리하여 시공간적 일관성 없는 부분을 탐지할 수 있는 컨volution 레이어 기반 잔차 네트워크(CLRNet)를 제안한다.
• 잔차 블록을 통한 공간적 특징 추출과 ConvLSTM 레이어를 활용한 시간적 모델링을 융합하여 프레임 수준 및 프레임 간 아티팩트를 탐지한다.
• 일반화 능력을 향상시키기 위해 도메인 불변 표현 학습과 다중 데이터셋 피니팅 전략을 조합한 고유한 훈련 전략을 적용한다.
• 기존의 기준 데이터셋(FaceSwap, DeepFake, Face2Face)과 15만 개 이상의 프레임을 포함한 새로 수집한 DFW 데이터셋을 훈련 및 평가에 활용한다.
• 성능 저하 없이 다양한 딥페이크 유형 간 전이 학습을 적용하여 단일 모델이 다양한 변조 방법을 탐지할 수 있도록 한다.
• 제한적 또는 알려지지 않은 딥페이크 유형에 대한 강건성을 향상시키기 위해 약한 지도 학습 틀을 도입한다.

실험 결과

연구 질문

• RQ1 단일 딥페이크 탐지 모델이 여러 기준 딥페이크 데이터셋과 알려지지 않은 실세계 딥페이크에 대해 효과적으로 일반화할 수 있는가?
• RQ2 연속된 영상 프레임 간 시간적 동역학을 모델링하는 것이, 프레임 기반 방법에 비해 탐지 성능을 어떻게 향상시키는가?
• RQ3 제안된 훈련 전략이 알려지지 않은 딥페이크 생성 방법에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 고품질의 실세계 딥페이크 인 더 월드(DFW) 영상에서 CLRNet은 기존 최신 기술보다 어떻게 성능을 발휘하는가?
• RQ5 순차적 프레임 사용이 다중 도메인 훈련 중 치명적인 기억 상실을 어떻게 크게 줄이는가?

주요 결과

• CLRNet는 다섯 개인 기준 딥페이크 데이터셋에서 평균 97.57%의 탐지 정확도를 달성하여 기존 방법보다 뚜렷이 뛰어나다.
• 200개의 영상에서 수집한 15만 개 이상의 프레임을 포함한 고품질 실세계 딥페이크 인 더 월드(DFW) 데이터셋에서 CLRNet은 93.86%의 탐지 정확도를 기록한다.
• 훈련 중에 등장하지 않은 딥페이크 유형, 특히 알려지지 않은 생성 방법에서 유래한 딥페이크에 대해 우수한 일반화 능력을 보여준다.
• CLRNet를 활용한 머지 및 전이 학습 전략은 성능 저하 없이 일관된 성능 향상을 보이며 강력한 이식 가능성 잠재력을 입증한다.
• 기존 방어 방법은 실세계 DFW 영상에 대해 일반화에 실패하는 반면, CLRNet는 높은 정확도를 유지하여 실세계 적용 가능성의 우수성을 입증한다.
• ConvLSTM과 잔차 블록을 통한 공간적 및 시간적 모델링 통합은 일반적으로 프레임 전용 모델이 놓치는 미세한 아티팩트까지 탐지할 수 있도록 한다.