[논문 리뷰] A Hybrid CNN-LSTM model for Video Deepfake Detection by Leveraging Optical Flow Features

Pallabi Saikia, Dhwani Dholaria외 3명|arXiv (Cornell University)|2022. 07. 28.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 공간적 및 시간적 비일관성을 모두 포착하기 위해 광학 흐름 특징을 통합한 하이브리드 CNN-LSTM 모델을 제안한다. 광학 흐름을 통해 운동 동역학을 추출하고 이를 CNN-LSTM과 조합하여 분류함으로써, FF++에서 91.21%의 정확도와 Celeb-DF에서 79.49%의 정확도를 달성하며, 최대 70帧 이내의 짧은 프레임 수로도 조기에 탐지가 가능하고 계산 부담을 줄일 수 있다.

ABSTRACT

Deepfakes are the synthesized digital media in order to create ultra-realistic fake videos to trick the spectator. Deep generative algorithms, such as, Generative Adversarial Networks(GAN) are widely used to accomplish such tasks. This approach synthesizes pseudo-realistic contents that are very difficult to distinguish by traditional detection methods. In most cases, Convolutional Neural Network(CNN) based discriminators are being used for detecting such synthesized media. However, it emphasise primarily on the spatial attributes of individual video frames, thereby fail to learn the temporal information from their inter-frame relations. In this paper, we leveraged an optical flow based feature extraction approach to extract the temporal features, which are then fed to a hybrid model for classification. This hybrid model is based on the combination of CNN and recurrent neural network (RNN) architectures. The hybrid model provides effective performance on open source data-sets such as, DFDC, FF++ and Celeb-DF. This proposed method shows an accuracy of 66.26%, 91.21% and 79.49% in DFDC, FF++, and Celeb-DF respectively with a very reduced No of sample size of approx 100 samples(frames). This promises early detection of fake contents compared to existing modalities.

연구 동기 및 목표

• 기존의 깊은 페이크 탐지 방법이 주로 공간적 특징에 집중하고 영상 시퀀스 내 시간적 비일관성을 간과하는 한계를 해결하기 위해.
• 특히 깊은 페이크에서 흔히 나타나는 얼굴 운동 이상 현상을 포착하는 광학 흐름 특징을 통합하여 탐지 성능을 향상시키기 위해.
• 최대 100프레임 이내의 줄어든 영상 프레임 수로도 작동할 수 있는 경량이며 계산적으로 효율적인 모델을 개발하기 위해.
• 다양한 깊은 페이크 데이터셋인 DFDC, FF++, Celeb-DF에서 낮은 프레임 조건 하에서도 모델의 강건성을 평가하기 위해.
• 광학 흐름을 통한 시간 모델링이 공간 모델 대비 심각하게 향상된 탐지 정확도를 제공함을 입증하기 위해.

제안 방법

• 연속 프레임 간의 픽셀 수준의 운동을 정량화하기 위해 전통적인 컴퓨터 비전 기법을 사용해 광학 흐름을 추출하여 시간적 비일관성을 포착한다.
• 각 프레임에서 공간적 특징을 추출하기 위해 미리 훈련된 VGG16 CNN을 사용한 후, 운동 패턴을 표현하기 위해 광학 흐름 특징을 추출한다.
• 공간적 특징과 운동 특징을 결합하여 순차적 의존성을 모델링하고 시간적 이상을 탐지하기 위해 스택드 LSTM 네트워크에 입력한다.
• 하이브리드 CNN-LSTM 아키텍처는 영상 클립에서 엔드 투 엔드로 훈련되며, 실제 영상와 가짜 영상의 분류를 최적화하기 위해 손실 역전파가 수행된다.
• 세 가지 벤치마크 데이터셋인 DFDC, FF++, Celeb-DF에서 정확도, 정밀도, 재현율, F1 점수, AUC 등의 다수 지표를 사용해 평가한다.
• 계산 비용을 줄이기 위해 실험은 프레임의 부분 집합(≤100)에서 수행되었으며, 추론 실험 결과 프레임 수 증가에 따라 성능 향상이 있음을 확인했다.

실험 결과

연구 질문

• RQ1 공간 모델이 간과하는 간헐적 운동 비일관성을 포착하기 위해 광학 흐름 특징이 깊은 페이크 탐지 성능 향상에 기여할 수 있는가?
• RQ2 CNN과 LSTM 아키텍처의 통합이 단독 모델 대비 깊은 페이크 탐지에서 시간 모델링을 어떻게 향상시키는가?
• RQ3 하이브리드 CNN-LSTM 모델이 제한된 수의 영상 프레임으로 높은 탐지 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 깊은 페이크 데이터셋에서 정확도, F1 점수, AUC 측면에서 최신 기술 대비 제안된 방법의 성능은 어떠한가?
• RQ5 광학 흐름을 사용함으로써 짧은 영상 클립에서 효과적인 분석이 가능해져 깊은 페이크의 조기 탐지가 가능한가?

주요 결과

• 제안된 모델은 영상 당 최대 70프레임으로 FF++ 데이터셋에서 91.21% 정확도, 91.20% F1 점수, 0.91 AUC를 달성한다.
• Celeb-DF 데이터셋에서는 최대 70프레임으로 79.49% 정확도, 78.80% F1 점수, 0.79 AUC를 기록한다.
• DFDC 데이터셋에서는 최대 40프레임으로 66.26% 정확도, 65.35% F1 점수, 0.66 AUC를 달성한다.
• 기존 연구에서 일반적으로 사용하는 것보다 훨씬 적은 프레임 수로도 F1 점수와 AUC와 같은 핵심 지표에서 최신 기술과 경쟁하거나 승승을 거두며 성능을 높인다.
• 광학 흐름 특징의 통합은 공간 모델 뿐만 아니라 운동 아티팩트를 포착함으로써 탐지 성능을 심각하게 향상시킨다.
• 결과적으로 짧은 영상 클립에서 강력한 성능 유지를 통해 계산 요구량을 줄이며 조기 깊은 페이크 탐지의 가능성을 입증한다.