[논문 리뷰] A New Periocular Dataset Collected by Mobile Devices in Unconstrained Scenarios

Luiz A. Zanlorensi, Rayson Laroca외 4명|arXiv (Cornell University)|2020. 11. 24.

Biometric Identification and Security인용 수 4

한 줄 요약

이 논문은 1,122명의 피험자와 세션당 3개의 세션에서 약 196대의 모바일 기기로 수집된, 제약 조건이 없는 환경에서 촬영된 가장 큰 공개된 페리옥류러스 데이터셋인 UFPR-Periocular을 소개한다. MobileNetV2 기반의 다중 과제 딥 러닝 모델을 사용하여, 폐쇄 세계 프로토콜에서 순위-1 식별 정확도가 84.32%이고, 등가 오류율(EER)이 0.81%에 도달하여 실제 세계의 변동성에 기반한 모바일 기반 페리옥류러스 인식 분야에서 향후 연구의 필요성을 입증한다.

ABSTRACT

Recently, ocular biometrics in unconstrained environments using images obtained at visible wavelength have gained the researchers' attention, especially with images captured by mobile devices. Periocular recognition has been demonstrated to be an alternative when the iris trait is not available due to occlusions or low image resolution. However, the periocular trait does not have the high uniqueness presented in the iris trait. Thus, the use of datasets containing many subjects is essential to assess biometric systems' capacity to extract discriminating information from the periocular region. Also, to address the within-class variability caused by lighting and attributes in the periocular region, it is of paramount importance to use datasets with images of the same subject captured in distinct sessions. As the datasets available in the literature do not present all these factors, in this work, we present a new periocular dataset containing samples from 1,122 subjects, acquired in 3 sessions by 196 different mobile devices. The images were captured under unconstrained environments with just a single instruction to the participants: to place their eyes on a region of interest. We also performed an extensive benchmark with several Convolutional Neural Network (CNN) architectures and models that have been employed in state-of-the-art approaches based on Multi-class Classification, Multitask Learning, Pairwise Filters Network, and Siamese Network. The results achieved in the closed- and open-world protocol, considering the identification and verification tasks, show that this area still needs research and development.

연구 동기 및 목표

• 제약 조건이 없는 환경에서 모바일 기기로 촬영된 대규모 실생활 페리옥류러스 데이터셋의 부족 문제를 해결하기 위해.
• 조명, 자세, 기기 차이로 인한 높은 내부 클래스 변동성으로 인해 상태의 딥 러닝 모델이 페리옥류러스 인식에서 어떻게 성능을 발휘하는지 평가하기 위해.
• 다중 과제 학습이 식별 및 검증 작업을 위한 분류 기반 특징 추출의 성능 향상에 미치는 영향을 조사하기 위해.
• 향후 모바일 망막 생체 인식 분야의 연구를 위한 기준 데이터셋과 실험 설정을 제공하기 위해.

제안 방법

• 제약 조건이 없는 환경에서 1,122명의 피험자로부터 33,660장의 페리옥류러스 영상을 196대의 다양한 모바일 기기로 세션당 3회에 걸쳐 촬영하였다.
• 눈의 모서리를 수작업으로 주석 처리하고, 각 영상에 대해 연령대, 성별, 기기 모델 등의 메타데이터를 제공하였다.
• 다양한 CNN 아키텍처를 훈련 및 평가하였으며, 다중 분류 모델, 다중 과제 학습 모델, 시아모이즈 네트워크, 쌍별 필터 네트워크를 포함하였다.
• 식별 및 검증 성능 평가를 위해 폐쇄 세계 및 개방 세계 프로토콜을 모두 활용하였다.
• 다중 과제 학습 프레임워크에서 각 과제의 기여도를 평가하기 위해 분석 실험(Ablation study)을 수행하였다.
• 조명, 흐림, 가림, 안경 착용 등의 오류를 줄이기 위해 데이터 증강 및 속성 정규화 기법을 사용하였다.

실험 결과

연구 질문

• RQ1 제약 조건이 없는 모바일 환경에서 다양한 딥 러닝 아키텍처의 페리옥류러스 인식 모델 성능은 어떻게 달라지나?
• RQ2 예를 들어 성별, 연령대, 기기 모델 등의 보조 과제가 페리옥류러스 특징의 분류 능력 향상에 기여하는 상대적 기여도는 어떠한가?
• RQ3 실제 세계의 모바일 페리옥류러스 인식에서 조명, 가림, 해상도 저하가 검증 정확도에 미치는 영향은 무엇인가?
• RQ4 다중 과제 학습은 내부 클래스 변동성을 효과적으로 줄이고 모바일 기반 페리옥류러스 인식의 일반화 능력을 향상시킬 수 있는가?
• RQ5 실제 세계의 페리옥류러스 인식에서 폐쇄 세계 프로토콜과 개방 세계 프로토콜 간의 성능 격차는 어떠한가?

주요 결과

• UFPR-Periocular 데이터셋은 가시 스펙트럼 페리옥류러스 인식 분야에서 논문 기준으로 피험자 수(1,122명)와 고유한 모바일 기기 수(196대)로 가장 크다.
• MobileNetV2를 기반으로 한 다중 과제 학습 모델이 가장 뛰어난 성능을 보였으며, 폐쇄 세계 프로토콜에서 순위-1 식별 정확도가 84.32%이고, 등가 오류율(EER)이 0.81%였다.
• 개방 세계 프로토콜에서는 동일한 모델이 임계값 0.80과 0.78에서 EER 2.81%를 기록하여 알려지지 않은 피험자에 대해서도 강건함을 입증하였다.
• 분석 실험 결과, 기기 모델 식별 과제가 가장 영향력 있는 과제였으며, 그 다음으로 연령대, 성별, 눈의 쪽 분류 과제 순이었다.
• 주관적 분석 결과, 조명, 가림, 낮은 해상도가 잘못된 검증 결정의 주요 원인으로 나타났다.
• 강력한 성능를 보였음에도 불구하고, 결과는 특히 개방 세계 및 실제 세계 조건에서 모바일 페리옥류러스 인식 분야가 여전히 크게 향상되어야 한다는 점을 시사한다.