[논문 리뷰] Specular- and Diffuse-reflection-based Face Spoofing Detection for Mobile Devices

Akinori F. Ebihara, K. Sakurai외 1명|arXiv (Cornell University)|2019. 07. 29.

Biometric Identification and Security참고 문헌 28인용 수 4

한 줄 요약

이 논문은 단일 가시광선 카메라와 플래시만을 사용하여 모바일 기기에서 저비용·고효율의 얼굴 스푸핑 탐지 방법을 제안한다. 눈동자에서의 반사광과 얼굴 표면에서의 산란 반사광을 이중 기술자 $SpecDiff$를 통해 분석함으로써, 딥 러닝 모델조차도 능가하는 최신 기술 수준의 정확도를 달성하면서도, 6배 빠른 속도로 작동하고 약 1,000장의 이미지 쌍(클래스당)만으로도 소규모 학습 데이터셋을 요구한다.

ABSTRACT

In light of the rising demand for biometric-authentication systems, preventing face spoofing attacks is a critical issue for the safe deployment of face recognition systems. Here, we propose an efficient face presentation attack detection (PAD) algorithm that requires minimal hardware and only a small database, making it suitable for resource-constrained devices such as mobile phones. Utilizing one monocular visible light camera, the proposed algorithm takes two facial photos, one taken with a flash, the other without a flash. The proposed $SpecDiff$ descriptor is constructed by leveraging two types of reflection: (i) specular reflections from the iris region that have a specific intensity distribution depending on liveness, and (ii) diffuse reflections from the entire face region that represents the 3D structure of a subject's face. Classifiers trained with $SpecDiff$ descriptor outperforms other flash-based PAD algorithms on both an in-house database and on publicly available NUAA, Replay-Attack, and SiW databases. Moreover, the proposed algorithm achieves statistically significantly better accuracy to that of an end-to-end, deep neural network classifier, while being approximately six-times faster execution speed. The code is publicly available at https://github.com/Akinori-F-Ebihara/SpecDiff-spoofing-detector.

연구 동기 및 목표

• 자원이 제한된 모바일 기기에서 최소한의 하드웨어 및 데이터 요구 사항으로도 적용 가능한 얼굴 제시 공격 탐지(PAD) 알고리즘을 개발하는 것.
• 물리적 반사 특성을 활용하여 가시광선 플래시 기반 영상으로 살아있는 얼굴과 스푸핑된 얼굴을 구분하는 것.
• 낮은 계산 비용으로 높은 탐지 정확도를 달성하여 모바일 CPU에서 실시간 배포가 가능하도록 하는 것.
• 도메인 특화 재학습 없이도 다양한 데이터베이스 간의 일반화 성능을 검증하는 것.
• 제한된 조건에서 수작업으로 설계된 기술자가 딥 러닝 모델보다 속도와 정확도 면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 모노클러얼 가시광선 카메라를 사용하여 플래시를 켠 상태와 끈 상태의 두 장의 얼굴 영상을 약 200ms 이내에 촬영한다.
• 결정체 중심의 40×40 픽셀 영역에서 눈동자에서 발생하는 반사광을 캡처하기 위해 $\mathcal{D}_{\mathrm{spec}} \in \mathbb{R}^{3200}$인 스펙큘럼 기술자(Speculum Descriptor)를 추출한다.
• 전체 얼굴 영역에서 $\mathcal{D}_{\mathrm{diff}} \in \mathbb{R}^{10000}$인 산란 기술자(Diffusion Descriptor)를 계산하여 산란 반사광을 통해 3차원 얼굴 구조를 표현한다.
• 두 기술자를 빛의 강도에 따라 정규화하여 값의 범위를 [-1, 1]로 제한함으로써 분류기의 강인성을 향상시킨다.
• 두 기술자를 연결하여 통합된 $SpecDiff$ 기술자로 조합하고, SVM 또는 신경망과 같은 표준 분류 모델을 사용하여 분류한다.
• 일관된 조명 조건을 확보하기 위해 플래시를 밝은 흰색 스크린으로 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 단일 가시광선 카메라와 최소한의 하드웨어만으로도 플래시 기반 PAD 방법이 높은 정확도를 달성할 수 있는가?
• RQ2 반사광과 산란 반사광 특성을 효과적으로 하나의 기술자에 통합하여 스푸핑 탐지 성능을 향상시킬 수 있는가?
• RQ3 제한된 계산 자원을 가진 모바일 기기에서 수작업 기반 기술자가 딥 러닝 모델보다 속도와 정확도 면에서 뛰어나게 되는가?
• RQ4 NUAA, Replay-Attack, SiW와 같은 다양한 데이터베이스 간에 $SpecDiff$ 기술자가 얼마나 잘 일반화되는가?
• RQ5 다양한 조도 조건과 스푸핑 유형에서도 성능이 안정적인가?

주요 결과

• RBF-SVM를 사용할 때 $SpecDiff$ 기술자는 NUAA 데이터베이스에서 sACER 0.58%를 기록하여, 다른 모든 플래시 기반 PAD 방법과 ResNet18 모델을 모두 능가했다.
• Replay-Attack 데이터베이스에서 $SpecDiff$ 기술자는 RBF-SVM를 사용해 sACER 0.43%를 기록하였으며, 다음으로 우수한 성능을 보인 방법(1.24% for Implicit3D)보다 유의미하게 낮았다.
• SiW 데이터베이스에서 $SpecDiff$ 기술자는 RBF-SVM를 사용해 sACER 0.86%를 기록하였고, 다른 모든 플래시 기반 방법과 ResNet4 모델을 모두 능가했다.
• 모든 테스트 데이터베이스에서 통계적으로 뛰어난 정확도를 유지하면서도, 엔드 투 엔드 딥 뉴럴 네트워크(ResNet18)보다 6배 빠른 속도를 기록했다.
• 어둠진 조건에서는 내부 데이터셋에서 APCER가 0.0087%로 떨어졌고, 밝은 조건에서는 0.27%로 유지되어 조도 변화에 대해 뛰어난 강인성을 보였다.
• 사진 및 영상 스푸핑 하위 유형에 대해 거의 완벽한 탐지 성능를 기록하였으며, Replay-Attack 및 SiW 데이터베이스에서 영상 스푸핑에 대해 APCER 0.00%를 기록했다.