[논문 리뷰] An Ensemble Model for Face Liveness Detection

Shashank Shekhar, Avinash Patel외 2명|arXiv (Cornell University)|2022. 01. 19.

Biometric Identification and Security인용 수 4

한 줄 요약

이 논문은 인쇄물, 사진, 비디오 재생 등의 공격 유형을 포함한 다양한 공격 유형을 다루기 위해 얼굴 영역과 배경 영역의 다수 특징을 융합하는 앙상블 딥 러닝 모델을 제안한다. 다양한 공격 유형을 포함하는 대규모 내부 데이터셋을 기반으로 훈련된 이 모델은 최신 기술 수준의 성능을 달성하며, 도전적인 공격 시나리오에서 뛰어난 강건성과 일반화 능력을 보여준다.

ABSTRACT

In this paper, we present a passive method to detect face presentation attack a.k.a face liveness detection using an ensemble deep learning technique. Face liveness detection is one of the key steps involved in user identity verification of customers during the online onboarding/transaction processes. During identity verification, an unauthenticated user tries to bypass the verification system by several means, for example, they can capture a user photo from social media and do an imposter attack using printouts of users faces or using a digital photo from a mobile device and even create a more sophisticated attack like video replay attack. We have tried to understand the different methods of attack and created an in-house large-scale dataset covering all the kinds of attacks to train a robust deep learning model. We propose an ensemble method where multiple features of the face and background regions are learned to predict whether the user is a bonafide or an attacker.

연구 동기 및 목표

• 온라인 신원 확인 과정에서 발생하는 얼굴 제시 공격이라는 핵심 과제를 해결하기 위해.
• 인쇄, 사진, 비디오 재생 공격 등 다양한 공격 유형을 탐지할 수 있는 강력하고 수동적인 생체 인식 검증 시스템을 개발하기 위해.
• 모든 주요 공격 유형을 포함하는 대규모이고 다양한 내부 데이터셋을 구축하여 훈련 및 평가를 위해 사용하기 위해.
• 앙상블 학습 방식을 통해 얼굴 및 배경 영역에서 유도된 다수의 딥 특징을 융합하여 탐지 정확도를 향상시키기 위해.
• 실제 환경에서의 구현 시나리오에서 생체 인식 검증 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 모델은 입력 이미지의 얼굴 및 배경 영역에서 특징를 추출하고 융합하기 위해 딥 신경망의 앙상블를 활용한다.
• 다양한 얼굴 영역과 배경 영역에 특화된 구분 능력을 학습하기 위해 다수의 컨볼루션 신경망(CNN) 브랜치를 훈련한다.
• 다른 네트워크 브랜치에서 유도된 특징들이 연결되어 최종 분류기로 입력되어 생체 인식 상태(정상 또는 공격)를 예측한다.
• 앙상블 방식은 다양한 공간 영역에서 유래한 상호 보완적 정보를 활용하여 탐지 강건성을 향상시킨다.
• 모든 주요 공격 유형, 즉 인쇄, 사진, 비디오 재생 공격를 포함하는 대규모 내부 데이터셋을 확보하여 종합적인 훈련 및 평가를 수행하였다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하고, 정확도, AUC, EER와 같은 표준 지표를 사용하여 평가하였다.

실험 결과

연구 질문

• RQ1 얼굴 및 배경 영역에서 유도된 특징를 융합하는 앙상블 모델은 다양한 얼굴 제시 공격 탐지에 얼마나 효과적인가?
• RQ2 다양한 공격 유형을 포함하는 대규모 내부 데이터셋의 도입은 생체 인식 검증 모델의 일반화 능력을 향상시키는가?
• RQ3 앙상블 학습을 통해 다중 영역 특징를 융합하는 방식은 단일 영역 또는 단일 모델 접근 방식보다 더 높은 성능을 달성하는가?
• RQ4 품질과 제시 방식이 다양하게 변하는 스푸핑 공격이 존재하는 실제 환경 조건에서 제안된 모델의 성능은 어떠한가?
• RQ5 다양한 유형의 제시 공격 탐지에서 얼굴 특징와 배경 특징의 상대적 기여도는 어떠한가?

주요 결과

• 제안된 앙상블 모델은 내부 데이터셋에서 최신 기술 수준의 성능을 달성하여 정확도와 AUC 측면에서 기준 모델을 크게 능가한다.
• 모델는 다양한 공격 유형, 특히 도전적인 비디오 재생 공격 및 고해상도 인쇄 공격에 대해서도 높은 성능을 유지하며 강력한 일반화 능력을 보여준다.
• 얼굴 영역과 배경 영역에서 유도된 특징를 융합하는 방식은 얼굴 특징에 의존하는 모델 대비 탐지 정확도 향상에 명확한 기여를 한다.
• 배경 특징의 포함은 종종 얼굴 전용 모델이 간과하는 스푸핑 시도의 미세한 아티팩트를 탐지하는 데 도움을 준다.
• 테스트 세트에서 모델은 1.5% 미만의 낮은 동등 오류 비율(EER)을 달성하여 정상 및 공격 샘플을 균형 있게 탐지하는 데 있어 높은 신뢰성을 보여준다.
• 제거 실험 결과, 앙상블 아키텍처가 성능 향상에 크게 기여하며, 각 구성 네트워크가 고유한 구분 능력을 기여함을 확인하였다.