[논문 리뷰] A Convolutional LSTM based Residual Network for Deepfake Video Detection

Shahroz Tariq, Sang Yup Lee외 1명|arXiv (Cornell University)|2020. 09. 16.

Digital Media Forensic Detection참고 문헌 33인용 수 16

한 줄 요약

이 논문은 연속된 영상 프레임의 시퀀스를 분석하여 시간적 비일관성을 포착함으로써 딥페이크 영상을 탐지하는 컨볼루션 리커런트 신경망(CLRNet)을 제안한다. 전이 학습을 통해 다양한 딥페이크 생성 방법에 대해 뛰어난 일반화 성능을 달성하며, FaceForensics++ 데이터셋에서 제로샷 탐지 상황에서 최대 97.18%의 정확도로 기존 최고 성능 모델을 초월한다.

ABSTRACT

In recent years, deep learning-based video manipulation methods have become widely accessible to masses. With little to no effort, people can easily learn how to generate deepfake videos with only a few victims or target images. This creates a significant social problem for everyone whose photos are publicly available on the Internet, especially on social media websites. Several deep learning-based detection methods have been developed to identify these deepfakes. However, these methods lack generalizability, because they perform well only for a specific type of deepfake method. Therefore, those methods are not transferable to detect other deepfake methods. Also, they do not take advantage of the temporal information of the video. In this paper, we addressed these limitations. We developed a Convolutional LSTM based Residual Network (CLRNet), which takes a sequence of consecutive images as an input from a video to learn the temporal information that helps in detecting unnatural looking artifacts that are present between frames of deepfake videos. We also propose a transfer learning-based approach to generalize different deepfake methods. Through rigorous experimentations using the FaceForensics++ dataset, we showed that our method outperforms five of the previously proposed state-of-the-art deepfake detection methods by better generalizing at detecting different deepfake methods using the same model.

연구 동기 및 목표

• 기존 딥페이크 탐지 방법들이 새로운 딥페이크 생성 기법에 대해 성능이 떨어지는 일반화 부족 문제를 해결하기 위해.
• 실제 영상에는 존재하지 않는 미세한 아티팩트를 포함한 시간적 정보를 활용하여 탐지 정확도를 향상시키기 위해.
• 최소한의 피니팅 데이터로도 여러 딥페이크 유형에 일반화 가능한 전이 학습 기반 프레임워크를 개발하기 위해.
• 다양한 딥페이크 방법에 대해 제로샷 및 희소샷 탐지 상황에서 기존 최고 성능 모델을 뛰어넘기 위해.
• 재학습 없이도 새로 등장하는 딥페이크 생성 기법에 적용 가능한 보다 포괄적인 딥페이크 탐지 시스템을 구축하기 위해.

제안 방법

• 모델은 연속된 영상 프레임 간의 시공간적 의존성을 모델링하기 위해 컨볼루션 리커런트 신경망(ConvLSTM) 아키텍처를 사용하여 프레임 간 비일관성을 포착한다.
• 깊이 있는 네트워크에서 훈련 안정성과 기울기 흐름 향상을 위해 잔차 연결을 통합하여 순차적 입력에서의 특징 학습을 향상시킨다.
• 모델은 먼저 한 가지 딥페이크 유형(예: FaceSwap)에서 사전 학습을 수행한 후, 다른 딥페이크 유형(예: Face2Face, Neural Texture)의 소량의 샘플로 피니팅하여 전이 학습 전략을 적용한다.
• 모델의 입력은 영상에서 샘플링된 10개의 연속된 프레임으로 구성되며, 이는 단일 프레임 분석에서는 보이지 않는 미세한 시간적 아티팩트를 탐지할 수 있도록 한다.
• 훈련 및 평가에 FaceForensics++ 데이터셋을 사용하며, 정제된 영상, FaceSwap, Face2Face, Neural Texture, Deepfakes에 더해 페이스북 챌린지에서 확보한 추가적인 진짜 및 가짜 영상이 포함된다.
• 성능 평가는 제로샷 및 희소샷 전이 학습 설정에서 수행되며, 다양한 소스-타겟 조합에 대해 기준 피니팅 방법(FT)과 비교한다.

실험 결과

연구 질문

• RQ1 한 가지 딥페이크 유형에서 훈련된 딥페이크 탐지 모델이 재학습 없이도 새로운 딥페이크 생성 방법에 효과적으로 일반화될 수 있는가?
• RQ2 연속된 영상 프레임 간의 시간적 의존성을 모델링하는 것이 단일 프레임 방법보다 딥페이크 탐지 성능을 향상시키는가?
• RQ3 최소한의 타겟 데이터로 전이 학습을 수행할 경우, 다양한 딥페이크 생성 기법에 대해 탐지 정확도에 어떤 영향을 미치는가?
• RQ4 통합된 모델이 전이 학습을 통해 동시에 여러 딥페이크 유형에서 높은 성능을 달성할 수 있는가?
• RQ5 제안된 CLRNet 아키텍처가 기존 최고 성능의 딥페이크 탐지 모델보다 더 견고하고 일반화 능력이 뛰어난가?

주요 결과

• CLRNet는 동일한 소스에서 훈련된 경우 FaceSwap 데이터셋에서 94.37%의 정확도, Deepfakes에서 92.15%의 정확도를 기록하였으며, 기준 피니팅 방법(45.17% 및 64.08%)을 크게 능가했다.
• 제로샷 탐지에서 CLRNet는 Neural Texture에서 79.75%의 정확도, DFD에서 63.12%의 정확도를 기록했으며, 기준 방법의 62.09% 및 51.38%보다 뛰어난 일반화 능력을 입증했다.
• 단일 타겟 데이터셋(예: Face2Face)에서 10개의 영상로만 피니팅한 경우, CLRNet는 88.35%의 정확도를 달성하여 기준 방법의 54.92%를 뛰어넘었다.
• 다중타겟 전이 학습에서, CLRNet는 네 가지 딥페이크 유형(DF, F2F, NT, DFD)에서 각각 91.23%, 87.50%, 91.30%, 87.13%의 높은 성능을 유지하였으며, 소스 정확도의 감소도 최소한이었다.
• 모든 10개의 실험에서 세 가지 전이 학습 시나리오(단일 소스 → 단일 타겟, 다중 소스 → 단일 타겟, 단일 소스 → 다중 타겟)에서 기준 피니팅 방법(FT)을 일관되게 뛰어넘었다.
• 모델는 ConvLSTM를 통한 시간 모델링이 필수적임을 입증하였으며, 이는 단일 프레임 방법이 시간적 아티팩트를 탐지하지 못함을 시사한다.