[논문 리뷰] A Compact Deep Learning Model for Face Spoofing Detection

Seyedkooshan Hashemifard, Mohammad Akbari|arXiv (Cornell University)|2021. 01. 12.

Biometric Identification and Security참고 문헌 35인용 수 7

한 줄 요약

이 논문은 수작업으로 구성한 색상-질감 특징(넓은 채널)과 CNN이 학습한 깊이 특징(깊이 채널)을 융합하는 컴act한 이중채널 딥러닝 모델을 제안하여 강건한 얼굴 스푸핑 탐지 성능을 달성한다. 이 방법은 다양한 데이터셋 간 일반화 능력이 뛰어나며, 교차 데이터셋 테스트에서 SiW에서 EER을 0.55%로, ROSE-Youtu에서 4.27%로 감소시켜 단일 채널 모델을 능가하고, 예측할 수 없는 스푸핑 공격에 대한 강건성도 향상시킨다.

ABSTRACT

In recent years, face biometric security systems are rapidly increasing, therefore, the presentation attack detection (PAD) has received significant attention from research communities and has become a major field of research. Researchers have tackled the problem with various methods, from exploiting conventional texture feature extraction such as LBP, BSIF, and LPQ to using deep neural networks with different architectures. Despite the results each of these techniques has achieved for a certain attack scenario or dataset, most of them still failed to generalized the problem for unseen conditions, as the efficiency of each is limited to certain type of presentation attacks and instruments (PAI). In this paper, instead of completely extracting hand-crafted texture features or relying only on deep neural networks, we address the problem via fusing both wide and deep features in a unified neural architecture. The main idea is to take advantage of the strength of both methods to derive well-generalized solution for the problem. We also evaluated the effectiveness of our method by comparing the results with each of the mentioned techniques separately. The procedure is done on different spoofing datasets such as ROSE-Youtu, SiW and NUAA Imposter datasets. In particular, we simultanously learn a low dimensional latent space empowered with data-driven features learnt via Convolutional Neural Network designes for spoofing detection task (i.e., deep channel) as well as leverages spoofing detection feature already popular for spoofing in frequency and temporal dimensions ( i.e., via wide channel).

연구 동기 및 목표

• 기존 얼굴 스푸핑 탐지 방법의 예측할 수 없는 공격 유형과 데이터셋 간 일반화 능력의 국한을 해결한다.
• 통제된, 제한된 데이터셋에서 학습된 딥러닝 모델의 편향을 보완하기 위해 도메인 특화 수작업 특징을 통합한다.
• 데이터 기반 깊이 특징과 엔지니어링된 질감 특징의 장점을 결합한 통합 신경망 아키텍처를 개발하여 강건성을 향상시킨다.
• 특히 예측할 수 없는 공격 시나리오와 기기 변형 상황에서의 교차 데이터셋 스푸핑 탐지 성능을 향상시킨다.
• 실제 모바일 및 임베디드 생체인식 시스템에 구현 가능한 컴 pact하고 효율적인 모델을 개발한다.

제안 방법

• 스푸핑 탐지에 특화된 CNN 아키텍처를 사용한 이중채널 신경망을 제안하여 저차원의 데이터 기반 표현을 학습한다.
• 넓은 채널은 스푸핑 탐지에 효과적인 것으로 알려진 기존의 수작업 특징(주파수, 질감, 시간 도메인에서의 특징)을 통합한다.
• 두 채널의 특징을 연결하여 공통의 유일한 잠재 공간에 통합하여 공동 표현 학습을 수행한다.
• 최종 분류 이전에 특징 상호작용 블록을 통해 깊이 특징과 넓은 특징을 동적으로 융합하여 상보적 학습을 가능하게 한다.
• 표준 평가 지표(EER, HTER)를 사용하여 여러 스푸핑 데이터셋(SiW, ROSE-Youtu, NUAA)에서 모델을 엔드 투 엔드로 훈련하고 평가한다.
• 일반화 능력을 평가하기 위해 교차 데이터셋 훈련 및 테스트를 수행하며, 단일 채널 및 이중 채널 변형 간의 추론 분석을 위한 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 수작업 특징과 딥러닝 네트워크 특징을 융합함으로써 다양한 데이터셋과 공격 유형 간 스푸핑 탐지의 일반화 능력 향상이 가능한가?
• RQ2 단일 채널 모델(CNN 전용 또는 기술자료 전용)에 비해 이중채널 아키텍처는 예측할 수 없는 데이터에서 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ3 넓은 특징과 깊이 특징의 융합이 과적합을 얼마나 줄이고 교차 데이터셋 스푸핑 탐지 성능을 얼마나 향상시키는가?
• RQ4 제안된 모델은 인쇄 공격에만 집중된 작은 또는 편향된 데이터셋인 NUAA에서도 높은 정확도를 유지하는가?
• RQ5 자원 제약이 있는 환경에서 실시간 배포에 적합한 컴 pact하고 효율적인 모델을 유지하면서도 높은 성능을 달성할 수 있는가?

주요 결과

• 이중채널 모델은 교차 데이터셋 테스트에서 SiW 데이터셋에서 EER 0.55%와 ROSE-Youtu 데이터셋에서 EER 4.27%를 기록하여 단일 채널 모델보다 뚜렷이 뛰어난 성능을 보였다.
• SiW 데이터셋에서 CNN 전용 모델은 EER 1.05%를 기록했고, 색상-질감 기술자료 전용 모델은 EER 1.92%를 기록하여 이중채널 융합이 성능 향상에 기여함을 확인했다.
• 교차 데이터셋 평가에서 이중채널 모델는 최고의 단일 채널 기반 모델 대비 EER을 10% 이상 감소시켜 뛰어난 일반화 능력을 입증했다.
• SiW에서 교차 데이터셋 테스트 시 HTER 1.05%, ROSE-Youtu에서는 HTER 6.12%를 기록하여 거짓 수락률과 거짓 거부률 간 균형이 잘 잡힌 성능을 보였다.
• 아블레이션 스터디를 통해 특징 상호작용 블록이 효과적인 융합을 가능하게 하며, 모든 테스트 설정에서 이중채널 모델이 단일 채널 변종보다 일관되게 뛰어난 성능을 보였다.
• 모델는 데이터셋 편향과 분포 이탈에 대해 더 뛰어난 강건성을 보였으며, 특히 더 작은 제한된 NUAA 데이터셋에서 교차 데이터셋 테스트에서 EER 22.34%를 기록하여 성능을 유지했다.