[논문 리뷰] NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection

Yu Chen, Yang Yu외 3명|arXiv (Cornell University)|2023. 06. 12.

Speech and Audio Processing인용 수 4

한 줄 요약

NPVForensics는 고급 포장자가 중요한 모음음-비음 쌍을 완벽하게 캘리브레이션하더라도 자주 완벽한 청각-시각 동기화를 이루지 못하는 비핵심 모음음-비음 쌍의 일관성 없는 특징을 활용하여 딥페이크 탐지 기법을 제안한다. Swin Transformer 기반의 국소적 특징 집합 모듈, 청각-시각 융합을 위한 모음음-비음 인식 모듈, 공변량 유도 표현 정렬, 대규모 실제 영상에서의 자기지도 학습 사전 훈련을 통해, FF++ 데이터셋에서 96.9% AUC를 기록하며 최신 기술 수준을 초월하는 성능을 달성하며 다양한 데이터셋에 걸쳐 강력한 내성적 안정성과 일반화 능력을 입증한다.

ABSTRACT

Deepfake technologies empowered by deep learning are rapidly evolving, creating new security concerns for society. Existing multimodal detection methods usually capture audio-visual inconsistencies to expose Deepfake videos. More seriously, the advanced Deepfake technology realizes the audio-visual calibration of the critical phoneme-viseme regions, achieving a more realistic tampering effect, which brings new challenges. To address this problem, we propose a novel Deepfake detection method to mine the correlation between Non-critical Phonemes and Visemes, termed NPVForensics. Firstly, we propose the Local Feature Aggregation block with Swin Transformer (LFA-ST) to construct non-critical phoneme-viseme and corresponding facial feature streams effectively. Secondly, we design a loss function for the fine-grained motion of the talking face to measure the evolutionary consistency of non-critical phoneme-viseme. Next, we design a phoneme-viseme awareness module for cross-modal feature fusion and representation alignment, so that the modality gap can be reduced and the intrinsic complementarity of the two modalities can be better explored. Finally, a self-supervised pre-training strategy is leveraged to thoroughly learn the audio-visual correspondences in natural videos. In this manner, our model can be easily adapted to the downstream Deepfake datasets with fine-tuning. Extensive experiments on existing benchmarks demonstrate that the proposed approach outperforms state-of-the-art methods.

연구 동기 및 목표

• 핵심 모음음-비음 쌍을 완벽하게 캘리브레이션하여 기존 다중모달 탐지 방법을 회피하는 고급 딥페이크를 탐지하는 데 도전하는 것.
• 포장자가 일반적으로 완벽한 동기화를 이룰 수 없는 비핵심 모음음-비음 영역에서의 미세한 청각-시각 불일치를 활용하는 것.
• 새로운 모음음-비음 인식 모듈과 공변량 유도 표현 정렬을 통해 다중모달 특징 정렬을 향상시키고 모달 간 격차를 줄이는 것.
• 딥페이크 데이터셋에 대한 미세조정 이전에 대규모 실제 영상 데이터에서 자기지도 학습 사전 훈련을 통해 모델의 일반화 능력과 내성적 안정성을 향상시키는 것.

제안 방법

• Swin Transformer 기반의 국소적 특징 집합 모듈(LFA-ST)은 청각 및 시각 스트림에서 국소적이고 전역적 특징을 추출하고 유지하며, 비핵심 모음음-비음 영역을 중심으로 강조한다.
• 비핵심 모음음과 그에 대응하는 비음 사이의 진화적 일치도를 측정하기 위해 세분화된 운동 일관성 손실을 도입한다.
• 모음음-비음 인식 모듈은 청각 및 시각 특징을 동적으로 주의 기반으로 융합함으로써 내재된 모달 간 상보성을 향상시킨다.
• 공변량 유도 표현 정렬(CGRA) 모듈은 모음음 및 비음 표현 간 공통 통계적 의존성에 기반해 특징을 정렬함으로써 모달 간 격차를 줄인다.
• 대규모 실제 대화 영상에서의 자기지도 학습 전략을 적용하여 수동 레이블 없이도 강력한 청각-시각 대응 관계를 학습한다.
• 모델는 최종적인 딥페이크 데이터셋에서 미세조정되어 강력한 제로샷 및 교차 데이터셋 일반화 능력을 확보한다.

Figure 1: This figure displays a challenging Lip-Sync forgery video example. On the left, the first row of video frames is real, while the second row is Deepfake. We observe that the forger has calibrated the phoneme-viseme pairs in critical phoneme regions like ‘m’, ‘b’ and ‘p’. Therefore, the diff

실험 결과

연구 질문

• RQ1 핵심 모음음-비음 쌍을 완벽하게 캘리브레이션하는 고급 딥페이크를 탐지하기 위해 비핵심 모음음-비음 쌍이 신뢰할 수 있는 단서가 될 수 있는가?
• RQ2 딥페이크 탐지에서 상호 보완적인 특징을 효과적으로 융합하고 정렬하기 위해 청각-시각 특징을 어떻게 처리할 수 있는가?
• RQ3 대규모 실제 영상에서의 자기지도 학습 사전 훈련이 최종 딥페이크 벤치마크에서의 탐지 성능과 일반화 능력에 얼마나 기여하는가?
• RQ4 국소적 특징 집합과 세분화된 운동 일관성 모델링이 미세한 청각-시각 불일치를 탐지하는 데 기여하는 정도는 어느 정도인가?
• RQ5 제안된 다중모달 융합 및 정렬 기법은 일반적인 다중모달 융합 기법에 비해 내성적 안정성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• NPVForensics는 FF++ 데이터셋에서 96.9% AUC를 기록하며 최신 기술 수준을 초월하며 강력한 교차 데이터셋 일반화 능력을 입증한다.
• FSh 데이터셋에서는 96.7% AUC, DFo 데이터셋에서는 97.8% AUC를 기록하여 다양한 딥페이크 변형 유형에 걸쳐 뛰어난 내성적 안정성을 보였다.
• 제거 실험 결과, 청각 스트림을 제거하면 FakeAVCeleb에서 성능이 4.6% 감소함을 확인하여 청각-시각 불일치 탐지의 중요성을 입증한다.
• 공변량 유도 표현 정렬(CGRA) 모듈을 제거할 경우 AUC가 4.0% 향상됨을 확인하여, 이 모듈이 모달 간 격차를 줄이는 데 핵심적인 역할을 한다는 것을 시사한다.
• 32만 개의 실제 영상 클립에서 자기지도 학습 사전 훈련한 모델가 50만 개의 수동 레이블이 부여된 LRW 클립으로 사전 훈련한 모델보다 성능이 뛰어나, 사전 훈련 방법의 효율성과 확장성을 입증한다.
• LFA-ST 모듈은 ViT와 표준 Swin Transformer보다 성능을 크게 향상시켜, 비핵심 모음음-비음 영역에서의 미세한 국소적 상관관계를 효과적으로 포착함을 입증한다.

Figure 2: NPVForensics Pipeline. NPVForensics is organized into two stages. The first stage is the pre-training stage. We screen the audio waveform, lip motion stream, and face stream of the real video for non-critical phoneme-viseme, then input them into Swin Transformer Encoder with Local Feature