[논문 리뷰] UFPR-Periocular: A Periocular Dataset Collected by Mobile Devices in Unconstrained Scenarios.

Luiz A. Zanlorensi, Rayson Laroca외 4명|arXiv (Cornell University)|2020. 11. 24.

Biometric Identification and Security참고 문헌 83인용 수 6

한 줄 요약

이 논문은 3개의 세션 동안 1,122명의 주제가 모바일 기기 196대를 사용해 비구속 조건에서 촬영한 대규모 희귀지점 이미지 데이터셋인 UFPR-Periocular을 소개한다. 연구에서는 다양한 CNN 아키텍처를 이용해 식별 및 확인 작업에서 성능을 평가하였으며, 광범위한 훈련 데이터와 다양한 촬영 조건에도 불구하고 희귀지점 인식에서 여전히 큰 과제가 존재하는 것으로 드러났다.

ABSTRACT

Recently, ocular biometrics in unconstrained environments using images obtained at visible wavelength have gained the researchers' attention, especially with images captured by mobile devices. Periocular recognition has been demonstrated to be an alternative when the iris trait is not available due to occlusions or low image resolution. However, the periocular trait does not have the high uniqueness presented in the iris trait. Thus, the use of datasets containing many subjects is essential to assess biometric systems' capacity to extract discriminating information from the periocular region. Also, to address the within-class variability caused by lighting and attributes in the periocular region, it is of paramount importance to use datasets with images of the same subject captured in distinct sessions. As the datasets available in the literature do not present all these factors, in this work, we present a new periocular dataset containing samples from 1,122 subjects, acquired in 3 sessions by 196 different mobile devices. The images were captured under unconstrained environments with just a single instruction to the participants: to place their eyes on a region of interest. We also performed an extensive benchmark with several Convolutional Neural Network (CNN) architectures and models that have been employed in state-of-the-art approaches based on Multi-class Classification, Multitask Learning, Pairwise Filters Network, and Siamese Network. The results achieved in the closed- and open-world protocol, considering the identification and verification tasks, show that this area still needs research and development.

연구 동기 및 목표

• 실제 비구속 조건에서 모바일 기기를 사용해 촬영한 대규모이고 다양한 희귀지점 데이터셋의 부족을 보완하기 위해.
• 조명 및 얼굴 특성의 내부 클래스 변동성을 줄이기 위해 각 주제별로 여러 세션을 촬영함으로써.
• 희귀지점 인식 작업에서 최신 딥러닝 모델의 포괄적인 벤치마킹을 제공하기 위해.
• 식별 및 확인 작업에서 폐쇄형 및 개방형 월드 프로토콜 모두에서 성능을 평가하기 위해.
• 다양한 주제와 기기의 다양성을 갖춘 데이터셋을 공개함으로써 향후 연구를 지원하기 위해.

제안 방법

• 시간적 및 환경적 변동성을 캡처하기 위해 1,122명의 주제로부터 3개의 별도 세션 동안 희귀지점 이미지를 확보하였다.
• 기기 다양성을 확보하고 실제 배포 시나리오를 시뮬레이션하기 위해 196대의 다양한 모바일 기기를 사용하였다.
• 최소한의 지시만 제공하고 참가자들에게 관심 영역에 눈을 위치시키도록 요청함으로써 비구속 환경에서 이미지를 확보하였다.
• 시アン드 네트워크, 페어웨이즈 필터 네트워크, 멀티태스크 학습, 다중 클래스 분류 모델을 포함한 여러 딥러닝 아키텍처를 활용하였다.
• 식별 및 확인 작업에서 폐쇄형 월드 및 개방형 월드 프로토콜을 모두 사용해 모델을 평가하였다.
• 모델의 일반화 능력을 향상시키기 위해 이미지 전처리 및 데이터 증강을 표준화하였다.

실험 결과

연구 질문

• RQ1 비구속 모바일 촬영 조건에서 다양한 CNN 아키텍처의 희귀지점 인식 성능는 어떻게 달라지나?
• RQ2 조명 및 얼굴 특성의 세션 기반 변동성이 인식 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 기존 최신 기술 모델들은 UFPR-Periocular과 같은 대규모이고 다양한 실제 희귀지점 데이터셋에 효과적으로 일반화될 수 있는가?
• RQ4 폐쇄형 월드 및 개방형 월드 평가 프로토콜은 희귀지점 영역의 구분 가능한 특징을 식별하는 데 어떻게 비교되는가?
• RQ5 기기 다양성이 희귀지점 인식 시스템의 강건성에 어떤 영향을 미치는가?

주요 결과

• UFPR-Periocular 데이터셋은 1,122명의 주제와 3,000개 이상의 이미지 샘플을 포함하며, 196대의 모바일 기기를 사용해 3개의 세션 동안 촬영되었다.
• 광범위한 훈련 데이터와 다양한 촬영 조건에도 불구하고 성능은 여전히 최적화되지 않아 특징 구분의 과제가 지속됨을 시사한다.
• 개방형 월드 프로토콜에서의 성능는 폐쇄형 월드 프로토콜보다 유의미하게 낮아, 알려지지 않은 주제를 다루는 데의 어려움이 드러났다.
• 시앙드 및 페어웨이즈 필터 네트워크는 표준 다중 클래스 분류 모델 대비 내부 클래스 변동성에 더 강건한 성능를 보였다.
• 멀티태스크 학습 모델은 조명 및 자세 변동성에 대해 더 나은 일반화 능력을 보였지만, 여전히 내부 클래스 다양성에 의해 제한됨을 확인하였다.
• 결과적으로 희귀지점 인식은 여전히 연구 과제로 남아 있으며, 특히 실제 비구속 조건에서의 과제가 크다.