[논문 리뷰] Smartphone Multi-modal Biometric Authentication: Database and Evaluation

Raghavendra Ramachandra, Martin Stokkenes외 7명|arXiv (Cornell University)|2019. 12. 05.

User Authentication and Security Systems참고 문헌 30인용 수 15

한 줄 요약

이 논문은 스마트폰 기반으로 150명의 피험자로부터 4개국의 다양한 위치에서 6회에 걸쳐 얼굴, 음성, 주위안구 생체정보를 수집한 SWAN 다모달 생체인식 데이터셋(SWAN-MBD)을 제시한다. 단모달 및 다모달 생체인식 인증 및 제시 공격 탐지(PAD)를 위한 새로운 평가 프로토콜을 도입하였으며, 기준 성능 결과로 LFCC-GMM(0% EER)과 Color Textures-SVM(최고의 PAD 성능)가 높은 성능을 보였으며, 특히 저품질의 모조 공격 상황에서도 뛰어난 성능을 보였다.

ABSTRACT

Biometric-based verification is widely employed on the smartphones for various applications, including financial transactions. In this work, we present a new multimodal biometric dataset (face, voice, and periocular) acquired using a smartphone. The new dataset is comprised of 150 subjects that are captured in six different sessions reflecting real-life scenarios of smartphone assisted authentication. One of the unique features of this dataset is that it is collected in four different geographic locations representing a diverse population and ethnicity. Additionally, we also present a multimodal Presentation Attack (PA) or spoofing dataset using a low-cost Presentation Attack Instrument (PAI) such as print and electronic display attacks. The novel acquisition protocols and the diversity of the data subjects collected from different geographic locations will allow developing a novel algorithm for either unimodal or multimodal biometrics. Further, we also report the performance evaluation of the baseline biometric verification and Presentation Attack Detection (PAD) on the newly collected dataset.

연구 동기 및 목표

• 생체인식 인증 및 모조 공격 탐지 연구를 지원하기 위해 공개 가능하고 다양한, 현실적인 스마트폰 기반의 다모달 생체인식 데이터셋을 개발하기 위해.
• 스마트폰 생체인식 시스템의 벤치마킹에 적합한 공개된, 대규모의, 지리적으로 다양한, 다모달 생체인식 데이터셋의 부족을 보완하기 위해.
• 실생활 조건에서 단모달 및 다모달 생체인식 인증 및 제시 공격 탐지(PAD)를 위한 표준화된 평가 프로토콜을 제공하기 위해.
• 단일하고 일관된 데이터셋을 통해 환경적 변동성, 지리적 다양성, 다국어 화자 인증에 관한 연구를 가능하게 하기 위해.
• 낮은 비용의 제시 공격 장치(PAIs)인 인쇄물 및 전자 디스플레이 공격을 사용하여 강력한 PAD 기술의 개발 및 평가를 지원하기 위해.

제안 방법

• 6회에 걸친 데이터 수집이 실시되었으며, 1주일에서 3주 간격을 두어 스마트폰 사용의 실제 시나리오를 모의한 실내/실외, 보조/자기 촬영, 감독/비감독 설정을 포함하였다.
• 이 데이터셋은 얼굴(스마트폰 전면 카메라 사용), 주위안구(근접한 눈 부위), 음성(다국어 녹음)의 세 가지 생체인식 모odal을 포함하며, 다양한 조도 및 자세 조건에서 촬영되었다.
• 낮은 비용의 PAI를 사용하여 새로운 제시 공격(PA) 데이터셋을 구축하였으며, 스마트폰 생체인식 시스템에 대한 일반적인 모조 공격을 모의하기 위해 인쇄된 사진과 전자 디스플레이를 포함하였다.
• 평가 프로토콜은 두 가지 유형으로 설계되었으며, 프로토콜-1(저품질 공격 전용)과 프로토콜-2(저품질 및 고품질 공격 혼합)로 나뉘어 PAD의 강건성에 대한 벤치마크를 가능하게 하였다.
• 기준 알고리즘으로 LFCC-GMM을 음성에, Color Textures-SVM을 얼굴 및 주위안구에 적용하였으며, 다모달 PAD의 경우 최고 성능을 보인 시스템의 점수 융합을 실시하였다.
• 데이터셋은 Idiap 포털 및 BEAT 전자 인프라 플랫폼을 통해 공개되어, 개인정보 보호를 고려한 접근과 결과의 재현 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 실생활 스마트폰 사용 조건에서 다수의 세션과 환경 조건에 따라 생체인식 성능는 어떻게 변화하는가?
• RQ2 다양하고 지리적으로 분포된 데이터셋에서 기준 단모달 및 다모달 생체인식 인증 시스템의 성능는 어떠한가?
• RQ3 낮은 비용의 PAI를 사용한 저품질 및 고품질의 모조 공격 상황에서 다양한 제시 공격 탐지(PAD) 알고리즘이 어떻게 성능를 발휘하는가?
• RQ4 모odal별 PAD 시스템의 점수 융합은 다모달 공격에 대한 탐지 성능 향상에 기여하는가?
• RQ5 지리적 및 인구 통계적 다양성(예: 인종, 연령, 성별)은 생체인식 및 모조 공격 탐지 성능에 어느 정도 영향을 미치는가?

주요 결과

• LFCC-GMM 기준 알고리즘이 모든 프로토콜에서 음성 제시 공격 탐지에 대해 0% 등가 오류률(EER)을 기록하여 뛰어난 강건성을 보였다.
• Color Textures-SVM 방법이 다른 PAD 기준 알고리즘보다 뛰어나며, 프로토콜-1 및 프로토콜-2 모두에서 가장 낮은 EER를 기록했으며, 특히 저품질 공격 탐지에서 뛰어난 성능를 보였다.
• 프로토콜-2에서는 고품질 공격이 포함되면서 PAD 시스템의 성능 저하가 관찰되었으며, 다모달 점수 융합 시스템의 D-EER는 29.34%였다.
• 저품질 공격(PA.F.5, PA.V.7 등)은 1% 이하의 오류율로 탐지되어 일반적인 모조 공격 방법에 대해 매우 높은 탐지 정확도를 보였다.
• 다모달 PAD 융합 시스템은 고품질 공격에서 심각한 성능 저하를 보였으며, 정교한 모조 공격 시도를 탐지하는 데서 여전히 도전 과제로 남아 있음을 시사했다.
• 4개의 지리적 위치에 걸친 데이터셋의 다양성 덕분에 생체인식 시스템의 지리적 다양성 및 인구 통계적 영향 평가가 강력하게 가능해졌다.