[논문 리뷰] Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues

Trisha Mittal, Uttaran Bhattacharya외 3명|arXiv (Cornell University)|2020. 03. 14.

Digital Media Forensic Detection참고 문헌 53인용 수 13

한 줄 요약

이 논문은 얼굴과 음성에서 유추되는 모odal 유사성과 감정 인식 신호를 활용하여 실제 영상과 가짜 영상을 구분하는 새로운 음성-시각 기반 딥페이크 탐지 방법을 제안한다. 삼중체 손실을 사용하는 시아모닉 네트워크를 통해 DFDC에서 84.4%의 AUC와 DF-TIMIT에서 96.6%의 AUC를 기록하며, 기존 방법보다 딥페이크 내에서 음성-시각 일관성과 정서적 불일치를 동시에 모델링함으로써 뛰어난 성능을 달성한다.

ABSTRACT

We present a learning-based method for detecting real and fake deepfake multimedia content. To maximize information for learning, we extract and analyze the similarity between the two audio and visual modalities from within the same video. Additionally, we extract and compare affective cues corresponding to perceived emotion from the two modalities within a video to infer whether the input video is "real" or "fake". We propose a deep learning network, inspired by the Siamese network architecture and the triplet loss. To validate our model, we report the AUC metric on two large-scale deepfake detection datasets, DeepFake-TIMIT Dataset and DFDC. We compare our approach with several SOTA deepfake detection methods and report per-video AUC of 84.4% on the DFDC and 96.6% on the DF-TIMIT datasets, respectively. To the best of our knowledge, ours is the first approach that simultaneously exploits audio and video modalities and also perceived emotions from the two modalities for deepfake detection.

연구 동기 및 목표

• 다양한 멀티모달 콘텐츠를 위조하는 딥페이크 영상의 증가하는 위협에 대응하기 위해 다중모달 신호를 활용한 위조 미디어 콘텐츠 탐지.
• 음성과 시각 모달 간의 상관관계와 그들이 유도하는 정서적 신호를 딥페이크 탐지에 대한 구분 신호로 활용.
• 얼굴 및 음성 기반 정서적 신호를 동시에 분석하는 기반 학습 방법을 개발하여 탐지 정확도 향상.
• 대규모 음성-시각 딥페이크 데이터셋을 대상으로 본 방법의 유효성을 검증하며, 실제와 가짜 콘텐츠를 구분하는 데 있어 정서 일관성의 역할을 강조.

제안 방법

• 같은 영상의 얼굴과 음성 모달에 대해 공동 임베딩을 학습하기 위해 시아모닉 신경망 아키텍처를 사용.
• 삼중체 손실을 통해 동일 영상의 실제 및 가짜 버전의 깊이 임베딩을 비교하여 모달 유사성을 계산.
• 얼굴 표정과 음성 톤과 같은 정서적 특징을 양 모달에서 추출하고, 정서적 신호 유사성을 계산.
• 실제 영상의 임베딩 간 거리를 최소화하고 가짜 영상의 경우를 최대화하도록 모델을 학습하며, 모달 유사성과 정서 유사성을 동시에 지도 신호로 활용.
• 절단 실험을 통해 모달 유사성과 정서 유사성 구성 요소가 전체 성능에 기여하는 것으로 확인.
• DFDC 및 DF-TIMIT 데이터셋에서 프레임워크를 평가하며, 양 모달 모두 음성과 영상 신호를 포함.

실험 결과

연구 질문

• RQ1 음성과 시각 모달 간 정서적 인식의 일관성이 딥페이크 탐지 성능을 향상시킬 수 있는가?
• RQ2 음성과 시각 모달 간의 유사성을 모델링하면 합성 영상 탐지에 도움이 되는가?
• RQ3 모달 간 정서적 신호 불일치는 어떻게 딥페이크 콘텐츠와 관련이 있는가?
• RQ4 모달 수준과 정서 수준의 유사성이 탐지 성능에 독립적으로 기여하는 정도는 어느 정도인가?
• RQ5 학습 중에 볼 수 없었던 실제 세계의, '자연스러운' 딥페이크 영상에 대해서도 이 방법이 일반화 가능한가?

주요 결과

• 제안된 방법은 DFDC 데이터셋에서 영상 단위 AUC 84.4%와 DF-TIMIT 데이터셋에서 96.6%를 기록하며 최신 기술을 초월한다.
• 가짜 영상의 73.2%는 음성과 시각 모달 간 정서 레이블이 불일치한 반면, 실제 영상의 경우 이 비율은 24%에 그친다.
• 절단 실험을 통해 모달 유사성과 정서 유사성 모두 탐지 성능 향상에 기여하며, 특히 정서 유사성이 강력한 분류 신호로 작용함을 확인.
• 실제 소셜 미디어 영상에서 딥페이크를 성공적으로 탐지했지만, 일부 실패는 가짜 영상에서 감정 표현이 일관성을 유지할 경우 발생.
• 실패 사례는 딥페이크가 감정 일관성을 유지하거나 실제 영상에서 자연스러운 감정 변동성을 보일 경우 발생하여 가짜 긍정 결과를 낳는다.
• 이 방법은 음성-시각 모달 유사성과 정서 일관성을 동시에 활용하는 최초의 접근법이다.