[논문 리뷰] Enhance the Motion Cues for Face Anti-Spoofing using CNN-LSTM Architecture

Xiaoguang Tu, Hengsheng Zhang외 4명|arXiv (Cornell University)|2019. 01. 17.

Biometric Identification and Security참고 문헌 33인용 수 27

한 줄 요약

이 논문은 비디오 시퀀스에서 미세한 시간적 운동 신호를 활용하여 얼굴 위조 방지 성능을 향상시키기 위해 오일러 운동 확대 및 주의 메커니즘을 통합한 CNN-LSTM 아키텍처를 제안한다. 이 방법은 Replay Attack 및 MSU-MFSD 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 깜빡임 및 머리 움직임과 같은 미세한 얼굴 역동성을 효과적으로 포착하여 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Spatio-temporal information is very important to capture the discriminative cues between genuine and fake faces from video sequences. To explore such a temporal feature, the fine-grained motions (e.g., eye blinking, mouth movements and head swing) across video frames are very critical. In this paper, we propose a joint CNN-LSTM network for face anti-spoofing, focusing on the motion cues across video frames. We first extract the high discriminative features of video frames using the conventional Convolutional Neural Network (CNN). Then we leverage Long Short-Term Memory (LSTM) with the extracted features as inputs to capture the temporal dynamics in videos. To ensure the fine-grained motions more easily to be perceived in the training process, the eulerian motion magnification is used as the preprocessing to enhance the facial expressions exhibited by individuals, and the attention mechanism is embedded in LSTM to ensure the model learn to focus selectively on the dynamic frames across the video clips. Experiments on Replay Attack and MSU-MFSD databases show that the proposed method yields state-of-the-art performance with better generalization ability compared with several other popular algorithms.

연구 동기 및 목표

• 위조 재료 및 환경 조건의 변동성으로 인한 일반화 능력 부족 문제를 해결한다.
• 눈 깜빡임, 입 움직임, 머리 흔들림과 같은 미세한 운동 신호를 비디오 프레임 간에 분석하여 위조 공격를 탐지하는 것을 향상시킨다.
• 운동 확대 및 주의 메커니즘 통합을 통해 모델이 동적 얼굴 영역에 집중할 수 있는 능력을 향상시킨다.
• 혼란 손실 레이어를 도입하여 CNN 및 LSTM 구성 요소 간의 특징 학습을 균형 있게 조절함으로써 과적합을 줄이고 강건성을 향상시킨다.
• Replay Attack 및 MSU-MFSD를 포함한 다양한 데이터셋 간의 일반화 능력을 입증한다.

제안 방법

• 개별 비디오 프레임에서 고수준 공간적 특징을 추출하기 위해 CNN 기반 모델을 사용한다.
• 추출된 CNN 특징을 LSTM 네트워크에 입력하여 순차적 프레임 간의 시간적 동적 패턴과 운동 패턴을 모델링한다.
• 미세한 얼굴 운동이 모델에 더 잘 드러나도록 사전 처리 단계로 오일러 운동 확대를 적용한다.
• LSTM 내부에 주의 메커니즘을 통합하여 가장 분류에 기여하는 동적 정보를 담고 있는 핵심 프레임에 집중할 수 있도록 한다.
• CNN 및 LSTM 손실를 조합한 혼란 손실 레이어를 도입하여 특징 학습의 균형을 맞추고 과적합을 완화한다.
• Replay Attack 및 MSU-MFSD 데이터셋에서 공식 프rotocol에 따라 종합적인 CNN-LSTM 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 오일러 운동 확대를 통해 운동 신호를 강화하면 비디오 기반 얼굴 위조 방지에서 미세한 얼굴 역동성을 더 잘 탐지할 수 있는가?
• RQ2 LSTM에 주의 메커니즘을 통합하면 운동이 풍부한 프레임에 집중할 수 있어 분류 능력이 향상되는가?
• RQ3 운동 확대 및 주의 메커니즘을 통합한 종합적인 CNN-LSTM 아키텍처는 단독 CNN 또는 LSTM 모델에 비해 데이터셋 간 일반화 능력에서 어떻게 비교되는가?
• RQ4 혼란 손실 레이어가 CNN 및 LSTM 학습 동역학을 균형 있게 조절함으로써 훈련 안정성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 학습 데이터셋과 다른 데이터베이스에서 테스트할 경우 도메인 이동 상황에서 본 방법의 성능은 어떻게 되는가?

주요 결과

• 제안된 운동 확대 및 주의 메커니즘을 통합한 CNN-LSTM 모델은 Replay Attack 및 MSU-MFSD 데이터셋에서 최신 기술 수준 성능을 달성하였다.
• 오일러 운동 확대 기법은 미세한 얼굴 운동을 강화함으로써 모델 성능을 크게 향상시켰으며, 이는 LSTM에 의해 더 잘 탐지될 수 있도록 했다.
• 주의 메커니즋试은 모델이 핵심 동적 프레임에 집중하도록 해주어 진짜 얼굴와 위조 얼굴를 더 잘 구분하는 데 기여하였다.
• 혼란 손실 레이어는 CNN 및 LSTM 구성 요소 간의 학습 동역학을 균형 있게 조절함으로써 과적합을 줄였으며, 특히 데이터가 적은 환경에서 효과적이었다.
• 다른 데이터베이스 간 테스트에서 정적 방법(예: LBP, CNN)에 비해 본 방법이 더 뛰어난 일반화 능력을 보였다. 이는 시간적 운동 신호에 의존하기 때문이다.
• 다양도가 높은 데이터베이스 간 이동(예: Replay Attack에서 MSU-MFSD로의 이동) 상황에서는 성능 저하가 관찰되었지만, 본 방법은 여전히 모든 기준 모델보다 뛰어난 성능을 보였다.