[논문 리뷰] Exploiting temporal and depth information for multi-frame face anti-spoofing

Zezheng Wang, Chenxu Zhao외 5명|arXiv (Cornell University)|2018. 11. 13.

Biometric Identification and Security참고 문헌 32인용 수 77

한 줄 요약

이 논문은 짧은-기간 및 장기 모션 단서를 결합한 깊이-supervised 다중 프레임 얼굴 위조 방지 프레임워크(OFFB 및 ConvGRU)와 대조적 깊이 손실을 도입하여 네 가지 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Face anti-spoofing is significant to the security of face recognition systems. Previous works on depth supervised learning have proved the effectiveness for face anti-spoofing. Nevertheless, they only considered the depth as an auxiliary supervision in the single frame. Different from these methods, we develop a new method to estimate depth information from multiple RGB frames and propose a depth-supervised architecture which can efficiently encodes spatiotemporal information for presentation attack detection. It includes two novel modules: optical flow guided feature block (OFFB) and convolution gated recurrent units (ConvGRU) module, which are designed to extract short-term and long-term motion to discriminate living and spoofing faces. Extensive experiments demonstrate that the proposed approach achieves state-of-the-art results on four benchmark datasets, namely OULU-NPU, SiW, CASIA-MFSD, and Replay-Attack.

연구 동기 및 목표

• 시간적 깊이가 살아있는 얼굴과 위조 얼굴을 구분하는 데 어떤 역할을 하는지 분석합니다.
• RGB 프레임의 시간 정보를 활용하는 깊이 감독 아키텍처를 개발합니다.
• PAD를 위한 짧은-기간 및 긴-기간 모션을 포착하는 메커니즘(OFFB 및 ConvGRU)을 도입합니다.
• 깊이 감독하에 얼굴 형상 학습을 위한 대조적(depth) 손실을 제안합니다.
• 표준 PAD 벤치마크에서 우수한 성능을 입증합니다.

제안 방법

• 단안 RGB 프레임으로부터 깊이를 추정하는 깊이 감독 네트워크를 사용합니다.
• 절대 깊이 손실과 대조적(depth) 손실을 함께 사용하는 단일 프레임 깊이 회귀를 사용합니다.
• OFFB(Optical Flow Guided Feature Block)로 짧은-기간 모션을 추출합니다.
• ConvGRU(Convolutional Gated Recurrent Units)로 긴-기간 모션을 포착합니다.
• 단일 프레임 깊이 맵과 다중 프레임 깊이 맵을 잔차와 같은 융합 방식을 통해 D_fusion으로 결합합니다.
• 두 단계 전략으로 학습합니다: 먼저 단일 프레임 부분을 고정하고, 그다음 깊이 및 이진 손실로 다중 프레임 부분을 미세 조정합니다.

실험 결과

연구 질문

• RQ1 RGB 프레임으로부터의 시간 정보와 추정된 깊이가 정적 단서 이상의 프리젠테이션 어택 탐지에 기여할 수 있는가?
• RQ2 OFFB(짧은-기간 모션)와 ConvGRU(긴-기간 모션)가 깊이 감독 하에서 PAD 성능에 기여하는 바는 무엇인가?
• RQ3 대조적(depth) 손실이 살아 있는 얼굴/위조 구분을 위한 얼굴 깊이 토폴로지 학습을 강화하는가?
• RQ4 제안된 깊이 감독 다중 프레임 접근법이 표준 PAD 벤치마크에서 기존 방법들과 비교해 어떤 성능을 보이는가?

주요 결과

• 본 접근법은 네 가지 PAD 벤치마크(OULU-NPU, SiW, CASIA-MFSD, Replay-Attack)에서 최첨단 성능을 달성합니다.
• 분해 연구를 통해 OFFB와 ConvGRU 모두 단일 프레임 기준보다 정확도를 향상시키며, 이들의 조합이 추가적인 이득을 제공합니다.
• 대조적(depth) 손실은 순수 유클리드 깊이 감독보다 일반화 능력을 향상시킵니다.
• 다중 프레임 깊이 맵을 단일 프레임 깊이와 융합할 때 살아 있는 얼굴과 위조를 더 잘 구분하게 되며, 특히 크로스-테스트 설정에서도 성능이 향상됩니다.