[논문 리뷰] On the Learning of Deep Local Features for Robust Face Spoofing Detection

Gustavo Botelho de Souza, João Paulo Papa외 1명|arXiv (Cornell University)|2018. 06. 19.

Biometric Identification and Security인용 수 4

한 줄 요약

이 논문은 먼저 국소적 얼굴 영역에서 사전 훈련하여 탐지 가능한 위조 공격 신호를 학습한 후, 전체 얼굴에서 미세조정하는 두 단계의 CNN 아키텍처인 lsCNN을 제안한다. 영역별로 특화된 딥 특징을 활용함으로써, 전체 또는 무작위 패치 기반 훈련 방법에 비해 더 빠른 수렴 속도와 향상된 강건성을 확보하여 Replay-Attack 및 CASIA FASD 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Biometrics emerged as a robust solution for security systems. However, given the dissemination of biometric applications, criminals are developing techniques to circumvent them by simulating physical or behavioral traits of legal users (spoofing attacks). Despite face being a promising characteristic due to its universality, acceptability and presence of cameras almost everywhere, face recognition systems are extremely vulnerable to such frauds since they can be easily fooled with common printed facial photographs. State-of-the-art approaches, based on Convolutional Neural Networks (CNNs), present good results in face spoofing detection. However, these methods do not consider the importance of learning deep local features from each facial region, even though it is known from face recognition that each facial region presents different visual aspects, which can also be exploited for face spoofing detection. In this work we propose a novel CNN architecture trained in two steps for such task. Initially, each part of the neural network learns features from a given facial region. Afterwards, the whole model is fine-tuned on the whole facial images. Results show that such pre-training step allows the CNN to learn different local spoofing cues, improving the performance and the convergence speed of the final model, outperforming the state-of-the-art approaches.

연구 동기 및 목표

• 출력된 사진이나 디지털 복제본을 사용한 위조 공격에 취약한 얼굴 인식 시스템의 문제를 해결하기 위해.
• 다양한 얼굴 영역에서 깊이 있는 국소적 특징을 학습하는 것이 위조 탐지 성능 향상에 기여하는지 조사하기 위해.
• 특징 학습 효율성과 위조 탐지에서의 모델 일반화 능력을 향상시키는 훈련 전략을 개발하기 위해.
• 구조적 사전 훈련을 통해 영역별로 특화된 위조 신호를 활용하여 기존의 CNN 기반 방법을 초월하기 위해.

제안 방법

• 이 방법은 두 단계의 훈련 프로세스를 사용한다: 먼저, 고정된 사전 정의된 얼굴 영역(예: 눈, 코, 입)에서 별도의 'PatchNet'을 훈련시켜 국소적 위조 탐지 신호를 학습한다.
• 각 PatchNet은 할당된 얼굴 영역에 특화된 깊이 특징을 학습하는 소형 전용 CNN이다.
• 국소적 사전 훈련 이후, 모든 PatchNet의 가중치가 전체 얼굴 이미지에서의 글로벌 미세조정을 위해 통합된 'lsCNN' 모델로 결합된다.
• 미세조정 단계는 기본 학습률 0.0001, 모멘터럼 파라미터 0.9와 0.999, 배치 크기 64를 사용하는 표준 역전파 알고리즘을 적용한다.
• 아키텍처는 Caffe 프레임워크를 사용하여 구현되었으며, Replay-Attack 및 CASIA FASD 데이터셋 모두에서 훈련이 수행되었다.
• 최종 모델은 검증 및 테스트 세트에서 Equal Error Rate (EER)와 Half-Total Error Rate (HTER)를 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 전체 또는 무작위 패치 기반 훈련에 비해 국소적 얼굴 영역에서의 사전 훈련이 위조 공격 탐지 성능 향상에 기여하는가?
• RQ2 영역별로 특화된 위조 신호를 학습하는 것이 딥 CNN의 수렴 속도 향상과 일반화 능력 향상에 기여하는가?
• RQ3 표준 벤치마크 데이터셋에서 EER 및 HTER 측면에서 lsCNN의 성능은 최신 기술 수준의 방법들과 비교해 어떻게 되는가?
• RQ4 대규모 복잡한 모델이 필요 없이도 두 단계 훈련 전략이 컴act한 CNN 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• Replay-Attack 데이터셋에서 lsCNN은 EER 0.33%와 HTER 2.50%를 달성하여 기존의 전통적 방식으로 훈련된 lsCNN(HTER: 1.75%)를 능가했으며, 최고 성능을 낸 방법들과 동등한 성능을 보였다.
• lsCNN 모델은 반복 53,600회에서 최고 성능에 도달했으며, 기존의 전통적 CNN이 최고 성능에 도달하기 위해 필요한 74,200회 반복보다 훨씬 이르게 도달했다.
• CASIA FASD 데이터셋에서 lsCNN은 EER 4.44%를 기록하여, VGG-Face와 같은 대규모 아키텍처를 사용한 최고 성능 방법들과 동일한 성능을 달성했다.
• 기존의 전통적 방식 대비 lsCNN 모델은 훨씬 더 빠른 수렴 속도를 보였으며, 피크 성능에 도달하는 데 반복 9,800회가 소요된 데 비해 기준 모델은 80,900회가 소요되었다.
• 국소적 사전 훈련 단계는 모델이 구분 가능한 위조 탐지 신호를 학습하는 데 기여하여 더 나은 수렴과 강건성을 확보했다.
• 작은 CNN 아키텍처를 사용함에도 불구하고, 이 방법은 최신 기술 수준의 성능을 달성했으며, 국소적 특징 학습이 정확도와 훈련 효율성 향상에 기여한다는 것을 입증했다.