[논문 리뷰] Improving the Efficiency and Robustness of Deepfakes Detection through Precise Geometric Features

Zekun Sun, Yujie Han외 3명|arXiv (Cornell University)|2021. 04. 09.

Digital Media Forensic Detection참고 문헌 18인용 수 10

한 줄 요약

이 논문은 정확한 기하학적 특징—특히 校정된 얼굴 랜드마크—를 활용하고 두 개의 스트림을 가진 순환 신경망(RNN)을 통해 딥페이크 영상의 시간적 비일관성을 모델링함으로써 경량이고 강건한 딥페이크 탐지 프레임워크인 LRNet을 제안한다. 새로운 校정 모듈을 통해 랜드마크 정확도를 향상시키고 시간적 동역학을 활용함으로써, LRNet은 FaceForensics++에서 0.999 AUC를 달성하며 고압축 영상에서도 강력한 성능(단지 -0.042 AUC 감소)을 유지하여 기존 방법들보다 효율성과 강건성 면에서 뛰어나다.

ABSTRACT

Deepfakes is a branch of malicious techniques that transplant a target face to the original one in videos, resulting in serious problems such as infringement of copyright, confusion of information, or even public panic. Previous efforts for Deepfakes videos detection mainly focused on appearance features, which have a risk of being bypassed by sophisticated manipulation, also resulting in high model complexity and sensitiveness to noise. Besides, how to mine the temporal features of manipulated videos and exploit them is still an open question. We propose an efficient and robust framework named LRNet for detecting Deepfakes videos through temporal modeling on precise geometric features. A novel calibration module is devised to enhance the precision of geometric features, making it more discriminative, and a two-stream Recurrent Neural Network (RNN) is constructed for sufficient exploitation of temporal features. Compared to previous methods, our proposed method is lighter-weighted and easier to train. Moreover, our method has shown robustness in detecting highly compressed or noise corrupted videos. Our model achieved 0.999 AUC on FaceForensics++ dataset. Meanwhile, it has a graceful decline in performance (-0.042 AUC) when faced with highly compressed videos.

연구 동기 및 목표

• 외관 기반 딥페이크 탐지 방법의 한계를 해결하기 위해, 이는 노이즈에 민감하고 고복잡도 모델을 필요로 한다.
• 영상이 압축되거나 손상된 실세계 상황에서의 강건성을 향상시키기 위해.
• 높은 탐지 정확도를 유지하면서 모델 복잡도와 학습 비용을 줄이기 위해.
• 정밀한 기하학적 특징을 통해 딥페이크 영상의 시간적 비일관성을 활용하기 위해.
• 실세계 적용을 위한 경량화되고 효율적이며 일반화 능력이 뛰어난 탐지 프레임워크를 개발하기 위해.

제안 방법

• 진동을 줄이고 얼굴 랜드마크 검출의 정밀도를 향상시켜 특징의 구분 능력을 높이기 위해 새로운 랜드마크 校정 모듈을 도입하였다.
• 프레임워크는 두 개의 스트림 RNN을 사용한다: 하나는 비정상적인 얼굴 운동을 탐지하기 위한(g₁), 다른 하나는 시간적 불연속성을 식별하기 위한(g₂) 것으로, 상호보완적인 시간 모델링이 가능하다.
• 원본 이미지 픽셀 대신 기하학적 특징—특히 얼굴 랜드마크 좌표—를 입력으로 사용함으로써 차원을 감소시키고 노이즈 및 압축에 대한 강건성을 높였다.
• 입력 길이를 효과성과 강건성의 균형을 맞추기 위해 조정함으로써, 校정된 랜드마크 시퀀스에 대해 엔드 투 엔드로 모델을 학습시켰다.
• 캘리브레이션 모듈에서 칼만 필터를 적용하여 랜드마크 궤적을 매끄럽게 하고 검출 오차에서 유래하는 노이즈를 줄였다.
• 프레임워크는 원본 및 압축된 영상 입력을 포함한 다양한 조건에서 FaceForensics++ 데이터셋에서 평가되었다.

Figure 1: Action units (AU) intensity analysis for pristine and Deepfakes video sequence. AU indicate movements of individual facial muscles that make up the facial expression. We select the two most intense action units: #7 (lid tightener) and #17 (chin raiser). As we can see, although the fake seq

실험 결과

연구 질문

• RQ1 정확한 기하학적 특징, 특히 校정된 얼굴 랜드마크를 사용할 경우, 외관 기반 방법에 비해 딥페이크 탐지의 강건성과 효율성이 향상되는가?
• RQ2 RNN을 통한 시간 모델링의 통합이 영상 시퀀스 전반에 걸쳐 미세한 딥페이크 아티팩트를 탐지하는 데 어떻게 기여하는가?
• RQ3 제안된 랜드마크 校정 모듈이 노이즈가 많거나 정밀도가 떨어지는 랜드마크 검출기의 영향을 탐지 성능에 얼마나 줄일 수 있는가?
• RQ4 입력 시퀀스 길이가 다양한 영상 품질 조건에서 모델의 일반화 능력과 강건성에 어떻게 영향을 미치는가?
• RQ5 경량 기하학적 특징 기반 모델이 강력한 딥 컨볼루션 네트워크나 데이터 증강 기법에 의존하지 않고도 높은 성능을 달성할 수 있는가?

주요 결과

• LRNet은 기하학적 특징만을 사용하여 FaceForensics++ 데이터셋에서 0.999 AUC를 달성하여 높은 탐지 정확도를 입증했다.
• 고압축 영상(c40)에서 테스트한 결과, 모델는 -0.042 AUC 감소만을 보이며 유연한 성능 저하를 보였으며, 이는 매우 강력한 강건성을 시사한다.
• 제거 분석 결과, 校정 모듈이 성능 향상에 크게 기여하며, 다른 검출기에서 유래한 랜드마크를 사용할 경우 성능 저하를 크게 줄였다.
• 두 스트림 RNN 아키텍처는 단일 스트림 버전을 능가했으며, g₂(시간 불연속성 탐지)가 정확도 향상에 더 기여했고, g₁(비정상 운동)은 강건성 향상에 기여했다.
• 60 프레임의 입력 길이가 다양한 데이터 분포, 특히 압축 조건에서 효과성과 강건성의 최적 균형을 이룬 것으로 밝혀졌다.
• 캘리브레이션 모듈을 적용한 경우, 재학습 없이도 다른 검출기(OpenFace)에서 유래한 랜드마크를 사용할 때에도 높은 성능을 유지했다.

Figure 2: Comparison between accuracy and precision. Red landmarks (upper) are accurate but not precise. They jitter greatly even though they all attach to the contour. Green points (lower) are less accurate but precise, which describe dynamic properties better.