[논문 리뷰] Do You Really Mean That? Content Driven Audio-Visual Deepfake Dataset and Multimodal Method for Temporal Forgery Localization

Zhixi Cai, Kalin Stefanov외 2명|arXiv (Cornell University)|2022. 04. 13.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 감정 극성을 변화시키는 콘텐츠 기반 조작을 포함한 대규모 음성-시각 딥패이크 데이터셋인 LAV-DF를 소개하고, 대비, 경계 일치, 프레임 분류 손실을 사용하여 위조 세그먼트를 국소화하는 다모달 3D CNN 방법인 경계 인식 시간 위조 탐지(BA-TFD)를 제안한다. 이 방법은 제안된 데이터셋에서 시간적 위조 국소화 분야에서 최신 기술 수준의 성능을 달성하였으며, AP@0.5 76.90과 AR@100 66.90을 기록하였다.

ABSTRACT

Due to its high societal impact, deepfake detection is getting active attention in the computer vision community. Most deepfake detection methods rely on identity, facial attributes, and adversarial perturbation-based spatio-temporal modifications at the whole video or random locations while keeping the meaning of the content intact. However, a sophisticated deepfake may contain only a small segment of video/audio manipulation, through which the meaning of the content can be, for example, completely inverted from a sentiment perspective. We introduce a content-driven audio-visual deepfake dataset, termed Localized Audio Visual DeepFake (LAV-DF), explicitly designed for the task of learning temporal forgery localization. Specifically, the content-driven audio-visual manipulations are performed strategically to change the sentiment polarity of the whole video. Our baseline method for benchmarking the proposed dataset is a 3DCNN model, termed as Boundary Aware Temporal Forgery Detection (BA-TFD), which is guided via contrastive, boundary matching, and frame classification loss functions. Our extensive quantitative and qualitative analysis demonstrates the proposed method's strong performance for temporal forgery localization and deepfake detection tasks.

연구 동기 및 목표

• 기존의 딥패이크 탐지 데이터셋이 전체 영상 조작을 전제로 하므로 발생하는 격차를 보완하기 위해, 콘텐츠 기반의 감정 변화 조작에 초점을 맞춘 데이터셋을 구축한다.
• 실제 영상의 의미를 뒤바꾸는 짧고 전략적으로 배치된 위조 세그먼트를 정확히 국소화할 수 있는 방법을 개발한다.
• 다양한 조작된 콘텐츠의 경계가 주석 처리된 대규모이고 현실적인 데이터셋을 제공하여 시간적 위조 국소화 연구를 가능하게 한다.
• 다모달 융합이 단모달 접근 방식보다 시간적 위조 국소화 정확도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• LAV-DF 데이터셋은 콘텐츠 기반의 음성-시각 재연을 적용하여 감정 극성(예: '안전한'에서 '위험한'으로)을 변경하면서도 정체성와 자연스러움을 유지하는 방식으로 구성된다.
• 제안된 BA-TFD 모델은 3D CNN 기반 아키텍처를 사용하며, 대비 손실, 경계 일치 손실, 프레임 분류 손실의 세 가지 손실 구성 요소를 포함한다.
• 모델은 프레임 수준 및 세그먼트 수준의 레이블에 대한 지도 학습을 통해 엔드 투 엔드로 훈련되며, 국소화 정확도 향상을 위해 지도 신호를 활용한다.
• 다모달 융합은 3D 합성곱 레이어 이전에 음성 및 영상 특징를 조기에 연결함으로써 달성되며, 음성-시각 신호의 공동 모델링을 가능하게 한다.
• 표준 평가 지표를 사용하여 평가되며, 시간 국소화에 대해서는 AP@0.5 및 AR@100, 분류에 대해서는 AUC를 사용한다.

Figure 1 : Content-driven audio-visual manipulation. On the left is a real video with the subject saying “Vaccinations are safe”. On the right is an audio-visual deepfake created from the real video based on the change in perceived sentiment where “safe” is changed to “dangerous”. Green-edge and red

실험 결과

연구 질문

• RQ1 감정을 뒤바꾸는 짧고 전략적인 조작을 수행하되, 영상의 나머지 부분에는 영향을 주지 않는 딥패이크 탐지 방법은 효과적으로 이러한 조작을 국소화할 수 있는가?
• RQ2 음성과 영상의 다모달 융합은 단모달 접근 방식에 비해 시간적 위조 국소화에 어떤 영향을 미치는가?
• RQ3 대비 손실, 경계 일치 손실, 프레임 분류 손실이 모델의 국소화 성능에 기여하는 정도는 어느 정도인가?
• RQ4 랜덤 또는 전체 영상 조작이 포함된 데이터셋 대비 콘텐츠 기반 데이터셋에서의 훈련은 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• 제안된 BA-TFD 방법은 전체 LAV-DF 데이터셋에서 AP@0.5 76.90과 AR@100 66.90을 기록하여 시간적 위조 국소화 분야에서 최신 기술 수준의 성능을 달성하였다.
• 비디오 단독의 단모달 버전은 AP@0.5 58.55를 기록했지만, 다모달 버전은 AP@0.5 76.90을 달성하여 음성-시각 융합의 유용성을 입증하였다.
• 데이터셋의 일부에서 비디오 단독의 AP@0.5는 58.55에서 83.55로 향상되었으며, 이는 제안된 데이터셋에서의 훈련이 모델의 일반화 능력을 향상시킨다는 것을 시사한다.
• 절단 실험 결과, 프레임 분류 손실이 성능 향상에 가장 크게 기여하며, 그 다음으로 경계 일치 손실, 대비 손실의 순서를 보였다.
• 딥패이크 분류에 대해 0.990 AUC를 기록하여, 분류 손실 없이도 F3Net(0.520)과 MDS(0.828)를 능가하는 성능을 달성하였다.

Figure 2 : Generation pipeline of the proposed dataset . The green-edge audio and video frames are the real data, and the red-edge audio and video frames are the generated fake data. The real audio-based transcript is used to decide the location and content to be replaced based on the largest change