[논문 리뷰] Liveness Detection Using Implicit 3D Features

J. Matías Di Martino, Qiang Qiu외 2명|arXiv (Cornell University)|2018. 04. 18.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 8

한 줄 요약

이 논문은 다양한 조명 조건 또는 校정되지 않은 스테레오 쌍에서 추출한 암묵적 3D 얼굴 특징을 활용하여 고비용 3D 복원을 피하는 생체 인식 검사 방법을 제안한다. 이 방법은 최소한의 계산 비용으로도 최신 기술 수준의 성능을 달성하며, 인쇄된 사진 및 3D 복제품과 같은 일반적인 위조 공격에 강건하다. 다양한 조명 원천에 대한 고유한 반응 패턴을 학습함으로써 이를 실현한다.

ABSTRACT

Spoofing attacks are a threat to modern face recognition systems. In this work we present a simple yet effective liveness detection approach to enhance 2D face recognition methods and make them robust against spoofing attacks. We show that the risk to spoofing attacks can be re- duced through the use of an additional source of light, for example a flash. From a pair of input images taken under different illumination, we define discriminative features that implicitly contain facial three-dimensional in- formation. Furthermore, we show that when multiple sources of light are considered, we are able to validate which one has been activated. This makes possible the design of a highly secure active-light authentication framework. Finally, further investigating the use of 3D features without 3D reconstruction, we introduce an approximated disparity-based implicit 3D feature obtained from an uncalibrated stereo-pair of cameras. Valida- tion experiments show that the proposed methods produce state-of-the-art results in challenging scenarios with nearly no feature extraction latency.

연구 동기 및 목표

• 인쇄된 사진 및 3D 복제품과 같은 위조 공격에 저항할 수 있는 2D 얼굴 인식 시스템의 생체 인식 검사 기능 향상.
• 명시적 3D 복원 없이도 암묵적 3D 얼굴 정보를 추출하여 계산 및 하드웨어 부담 감소.
• 추가 조명 원천 또는 스테레오 카메라를 활용해 생체 인식 검증을 위한 분류 가능한 특징을 생성하는 프레임워크 개발.
• 특징 추출 지연 시간을 최소화하여 스마트폰 및 개인용 컴퓨터와 같은 소비자 기기에서의 실용적 구현 가능하게 하기.
• 다양한 피험자, 카메라 및 촬영 조건에서 높은 일반화 능력과 해상도에 대한 불변성을 확보하여 방법의 유효성 검증.

제안 방법

• 다른 조명 조건에서 촬영한 두 장의 얼굴 영상을 사용하여 광학적 파라렐랙스와 표면 반사율 변화 기반으로 암묵적 3D 특징을 추출한다.
• 각 조명 원천의 반응을 별도로 모델링하여 다중 플래시 원천을 활용한 활성 조명 인증이 가능해진다.
• 스테레오 기반 검출의 경우, 캘리브레이션되지 않은 카메라 쌍에서 근사된 디스parity 맵을 계산하여 전체 캘리브레이션 없이 국소적 깊이 변화를 추정한다.
• 암묵적 3D 특징은 영상 간 강도 변화에서 유도되며, 명시적 3D 복원 없이도 기하학적 표면 특성을 캡처한다.
• 프레임워크는 해상도에 불변적이며 계산 효율성이 높아 표준 기기에서 실시간 구현에 적합하다.
• 각 조명 원천별 특징 학습 기능을 통합하여 인증 중에 어떤 조명이 활성화되었는지 동적으로 검증할 수 있다.

실험 결과

연구 질문

• RQ1 명시적 3D 복원 없이도 다양한 조명 조건에서 촬영한 이중 영상로부터 암묵적 3D 얼굴 특징를 추출할 수 있는가?
• RQ2 다양한 조명 원천의 사용이 생체 인식 검사의 강건성 향상과 활성 조명 인증 기능 제공에 얼마나 효과적인가?
• RQ3 캘리브레이션되지 않은 스테레오 쌍이 최소한의 계산 비용으로 생체 인식 검사를 위한 충분한 깊이 정보를 제공할 수 있는가?
• RQ4 제안된 특징이 해상도에 대해 얼마나 불변적이며, 다양한 피험자와 기기 간에 얼마나 일반화 가능한가?
• RQ5 인쇄된 사진, 굴곡진 인쇄물 및 태블릿 기반 3D 모델 공격과 같은 일반적인 위조 공격에 저항할 수 있는가?

주요 결과

• 제안된 방법은 거의 특징 추출 지연 시간이 없이 도전적인 상황에서도 최신 기술 수준의 생체 인식 검사 성능을 달성한다.
• 이중 조명 영상에서 유도된 암묵적 3D 특징는 평면 및 굴곡진 사진 위조 공격에 대해 매우 분류 능력이 뛰어나고 강건하다.
• 이 방법은 피험자, 카메라 및 촬영 조건 간에 일반화되며, 입력 해상도에 대해 강력한 불변성을 보여준다.
• 다양한 조명 원천을 사용함으로써 시스템은 고유한 반응 모델을 학습할 수 있어 보안성을 향상시키고 활성 조명 검증 프레임워크를 가능하게 한다.
• 3D 복제 공격에 대해서도 안정적인 보안성을 유지하지만, 이러한 공격는 일반적인 위조 수단보다 훨씬 더 높은 수준의 정교함을 요구한다.
• 캘리브레이션되지 않은 스테레오 디스파리 근사치는 3D 삼각측량의 계산 부담을 피하면서도 생체 인식 검사에 충분한 정확도를 제공한다.