[논문 리뷰] Exposing Deep-faked Videos by Anomalous Co-motion Pattern Detection

Gengxing Wang, Jiahuan Zhou외 1명|arXiv (Cornell University)|2020. 08. 11.

Digital Media Forensic Detection참고 문헌 58인용 수 19

한 줄 요약

이 논문은 얼굴 키포인트 궤적에서 유도된 제2차 운동 기술자(2nd-order motion descriptors)를 기반으로 비정상적인 공운동 패턴을 분석함으로써 딥페이크를 탐지하는 완전히 해석 가능한 영상 포렌식 기법을 제안한다. 지역적 운동 일관성을 얼굴 구성 요소 간에 모델링함으로써 위조 영상에서 비자연스러운 시간적 상관관계를 식별하며, 압축 및 저품질 조건에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent deep learning based video synthesis approaches, in particular with applications that can forge identities such as "DeepFake", have raised great security concerns. Therefore, corresponding deep forensic methods are proposed to tackle this problem. However, existing methods are either based on unexplainable deep networks which greatly degrades the principal interpretability factor to media forensic, or rely on fragile image statistics such as noise pattern, which in real-world scenarios can be easily deteriorated by data compression. In this paper, we propose an fully-interpretable video forensic method that is designed specifically to expose deep-faked videos. To enhance generalizability on videos with various content, we model the temporal motion of multiple specific spatial locations in the videos to extract a robust and reliable representation, called Co-Motion Pattern. Such kind of conjoint pattern is mined across local motion features which is independent of the video contents so that the instance-wise variation can also be largely alleviated. More importantly, our proposed co-motion pattern possesses both superior interpretability and sufficient robustness against data compression for deep-faked videos. We conduct extensive experiments to empirically demonstrate the superiority and effectiveness of our approach under both classification and anomaly detection evaluation settings against the state-of-the-art deep forensic methods.

연구 동기 및 목표

• 해석이 불가능한 딥 네트워크나 취약한 영상 통계 기반 기존 딥페이크 탐지 방법의 해석 불가능성과 취약성 문제를 해결한다.
• 영상 압축 및 저해상도 조건에서 성능이 급격히 떨어지는 기존 방법의 한계를 극복한다.
• 다양한 영상 콘텐츠와 위조 기법에 일반화 가능한 운동 기반 포렌식 접근법을 개발한다.
• 명시적이고 해석 가능한 추론을 가능하게 하여 이진 분류 및 이상 탐지 기능을 동시에 제공하는 딥페이크 영상 식별 기법을 구현한다.
• 압축 및 노이즈와 같은 실제 영상 왜곡에 강건하면서도 높은 탐지 정확도를 유지한다.

제안 방법

• 연속된 영상 프레임에서 51개의 얼굴 키포인트 위치에서 광학 흐름 또는 랜드마크 추적을 통해 2차원 운동 특징을 추정한다.
• 운동 특징을 공간적으로 일관성 있는 군집(예: 눈, 눈썹, 입)으로 그룹화하여 노이즈를 감소시키고 일반화 능력을 향상시킨다.
• 각 프레임에 대해 그룹화된 운동 특징 간 상호 상관계수를 계산하여 상관계수 행렬(공운동 패턴)을 구성한다.
• 각 프레임 수준의 공운동 패턴을 그룹화 성능에 따라 가중하여 강건하고 압축된 영상 수준의 표현을 형성한다.
• 가중된 공운동 패턴의 시퀀스를 영상 진위성 분류 또는 이상 탐지에 대한 분류적 기술자로 사용한다.
• 시각화를 위해 공운동 패턴을 [0,1] 범위로 정규화하지만, 실험에서 최적의 분류 성능 확보를 위해 원본 스케일을 유지한다.

실험 결과

연구 질문

• RQ1 압축 및 노이즈에 강건하면서도 해석 가능한 영상 기반 기술자 설계가 가능한가?
• RQ2 공운동 패턴이 다양한 영상 콘텐츠에서 실제 인간 얼굴 운동의 자연스러운 운동 일관성을 효과적으로 포착하는가?
• RQ3 NeuralTextures나 Face2Face와 같은 고도의 위조 기법으로 제작된 영상에서도 공운동 패턴이 딥페이크 영상을 탐지할 수 있는가?
• RQ4 다양한 위조 데이터셋 및 영상 품질 수준 간에 이 방법이 얼마나 잘 일반화되는가?
• RQ5 공운동 패턴이 상하 입술 간의 음성 운동에서 나타나는 자연스러운 반대 상관관계의 손실과 같은 해석 가능한 이상 징후를 어떻게 드러내는가?

주요 결과

• 교차 데이터셋 평가에서 NeuralTextures 데이터셋에서 95.85%의 정확도를 기록하여 다양한 위조 기법 간 강력한 일반화 능력을 입증한다.
• FaceSwap으로 학습하고 Face2Face로 테스트할 경우 84.95%의 높은 정확도를 유지하여 다양한 위조 스타일에 대한 강건성을 입증한다.
• 실제 영상에서 평균화된 공운동 패턴은 구성 요소 간 일관성 있는 운동 상관관계(예: 눈이 함께 움직임)를 보이며, 위조 영상에서는 이러한 패턴이 유지되지 않는다.
• 자연스러운 말하기 운동을 반영하는 상하 입술 간의 음성 상관관계가 딥페이크 영상에서는 현저히 약화되거나 상실되며, 이는 명확한 해석 가능한 신호를 제공한다.
• 그림 8에서 보듯이 공운동 패턴은 프레임 간에 신속히 수렴함으로써 제2차 운동 기술자의 안정성과 신뢰성을 확인한다.
• 특히 압축 또는 저품질 조건에서 최신 딥러닝 기반 포렌식 모델보다 분류 및 이상 탐지 설정 모두에서 뛰어난 성능을 보인다.