[논문 리뷰] DeepFake MNIST+: A DeepFake Facial Animation Dataset

Jiajun Huang, Wang Xue-yu외 3명|arXiv (Cornell University)|2021. 08. 18.

Digital Media Forensic Detection참고 문헌 30인용 수 5

한 줄 요약

이 논문은 최신 이미지 애니메이션 모델을 통해 생성된 10,000개의 고해상도 가짜 영상으로 구성된 대규모 얼굴 애니메이션 데이터셋인 DeepFake MNIST+를 소개한다. 각 영상은 10종의 서로 다른 얼굴 동작을 구현한다. 이 데이터셋은 기존의 생체 인식 검증 시스템의 취약점을 드러내기 위해 설계되었으며, ResNet50 기반의 베이스라인 검출기 평가를 통해 애니메이션 데이터로 훈련된 모델이 새로운 동작에 대해 더 잘 일반화되고, 압축 조건에서도 특히 머리 기울임과 같은 복잡한 운동에 대해 더 강건함을 입증한다.

ABSTRACT

The DeepFakes, which are the facial manipulation techniques, is the emerging threat to digital society. Various DeepFake detection methods and datasets are proposed for detecting such data, especially for face-swapping. However, recent researches less consider facial animation, which is also important in the DeepFake attack side. It tries to animate a face image with actions provided by a driving video, which also leads to a concern about the security of recent payment systems that reply on liveness detection to authenticate real users via recognising a sequence of user facial actions. However, our experiments show that the existed datasets are not sufficient to develop reliable detection methods. While the current liveness detector cannot defend such videos as the attack. As a response, we propose a new human face animation dataset, called DeepFake MNIST+, generated by a SOTA image animation generator. It includes 10,000 facial animation videos in ten different actions, which can spoof the recent liveness detectors. A baseline detection method and a comprehensive analysis of the method is also included in this paper. In addition, we analyze the proposed dataset's properties and reveal the difficulty and importance of detecting animation datasets under different types of motion and compression quality.

연구 동기 및 목표

• 딥패이크 탐지 분야에서 얼굴 애니메이션에 집중된 데이터셋의 부족을 해결하기 위해.
• 실제로 존재하는 고해상도 얼굴 애니메이션을 캡처하여 상용 생체 인식 검증 시스템을 우회할 수 있는 벤치마크 데이터셋을 개발하기 위해.
• 애니메이션 전용 데이터로 훈련된 탐지 모델의 일반화 능력을 다양한 운동 유형과 영상 압축 수준에서 평가하기 위해.
• 강력한 베이스라인 탐지 방법을 수립하고, 영상 품질과 동작 복잡성과 같은 다양한 조건에서의 성능을 분석하기 위해.
• 신원 교환 데이터셋으로 훈련된 기존의 딥패이크 탐지 모델이 얼굴 애니메이션 공격에 적용되었을 때의 한계를 드러내기 위해.

제안 방법

• 최신 기술의 이미지 애니메이션 모델을 사용하여 드라이빙 영상의 운동을 소스 얼굴 이미지에 전달함으로써 현실적인 얼굴 애니메이션 영상을 생성한다.
• 10종의 서로 다른 얼굴 동작(예: 미소, 깜빡임, 머리 좌우 기울임, 머리 기울임)에 걸쳐 10,000개의 가짜 애니메이션 영상과 10,000개의 실제 얼굴 영상이 포함되어 있다.
• 실제 영상 대비 가짜 영상 여부를 구분하는 이진 분류기로 ResNet50 기반의 베이스라인 탐지 모델을 훈련하며, 원본, 중간, 강한 압축 등 다양한 영상 품질에서 평가한다.
• 클래스 활성화 맵(CAM)을 사용하여 모델이 탐지 결정을 내릴 때 주로 어떤 얼굴 부위(예: 입, 목, 측면 얼굴)에 주목하는지 시각화한다.
• 다양한 동작과 압축 수준에서 탐지 정확도를 측정하여 성능을 평가하고, 훈련 데이터 구성에 대한 분석을 실시한다.
• 운동 유형(예: 큰 움직임 대비 작은 움직임)과 영상 품질이 탐지 성능에 미치는 영향을 종합적으로 분석한다.

실험 결과

연구 질문

• RQ1 기존의 신원 교환 데이터셋으로 훈련된 딥패이크 탐지 모델은 얼굴 애니메이션 기반의 위조 공격을 효과적으로 탐지할 수 있는가?
• RQ2 영상 압축 수준이 다양한 동작에서 얼굴 애니메이션 영상의 탐지 가능성에 어떤 영향을 미치는가?
• RQ3 어느 얼굴 동작이 탐지 모델에게 가장 도전적이며, 이러한 동작은 미리 보지 않은 동작에 대한 일반화 능력 향상에 기여하는가?
• RQ4 깜빡임이나 미소처럼 쉽게 탐지되는 동작 대비, 어려운 동작으로 훈련된 모델이 더 잘 일반화되는가?
• RQ5 탐지 모델은 어떤 시각적 특징을 학습하여 가짜 애니메이션 영상와 실제 영상 간을 구분하는가? 이러한 특징은 위조 영역에 국한되어 있는가?

주요 결과

• 공개된 최신 기술의 생체 인식 검증 시스템은 DeepFake MNIST+의 가짜 애니메이션 영상 탐지에 실패하며, 현재 시스템에 심각한 취약점이 있음을 보여준다.
• 강한 압축 조건에서 탐지 정확도가 크게 떨어지며, 특히 부끄러움 동작에서 가장 낮은 성능(87.5%)을 보이며 원본 품질 대비 7%의 격차를 보인다.
• 큰 움직임을 보이는 동작(예: 좌우 기울임)은 탐지가 가장 어려우며, 원본 영상에선 92.3%의 정확도, 강한 압축에선 88.24%의 정확도를 기록하지만, 이러한 동작으로 훈련된 모델은 새로운 동작에 대한 일반화 능력이 향상된다.
• 미소나 깜빡임처럼 쉽게 탐지되는 동작은 원본 영상에선 100%의 정확도를 기록하고 압축 조건에서도 97% 이상 유지되지만, 이러한 동작만으로 훈련된 모델은 더 어려운 동작에 대해 일반화 능력이 떨어진다.
• CAM 시각화 결과, 모델이 위조 영역(예: 입, 목, 측면 얼굴)에 주로 주목하고 있음을 확인하여, 탐지 결정에 의미 있는 시각적 단서를 학습하고 있음을 입증한다.
• 특히 복잡한 운동을 포함한 다양한 동작으로 훈련된 모델은 다양한 유형의 딥패이크 공격에 대해 더 강건하고 일반화 능력이 뛰어나다.