[논문 리뷰] On Benchmarking Iris Recognition within a Head-mounted Display for AR/VR Application

Fadi Boutros, Naser Damer외 4명|arXiv (Cornell University)|2020. 10. 20.

Biometric Identification and Security참고 문헌 44인용 수 4

한 줄 요약

이 논문은 AR/VR 시스템에서 지속적이고 비협업적 인식을 위한 헤드마운트 디스플레이(HMD)의 내장 카메라를 활용하는 것을 제안한다. 경량 분할 모델(EyeMMS)과 딥러닝 기반 특징 추출을 활용하며, 딥러닝 모델을 통해 5%의 동등오류률(EER)을 달성한다. MobileNet을 활용해 실제 HMD 환경의 제약 조건에서도 효율적인 지속적 인증을 실현한다.

ABSTRACT

Augmented and virtual reality is being deployed in different fields of applications. Such applications might involve accessing or processing critical and sensitive information, which requires strict and continuous access control. Given that Head-Mounted Displays (HMD) developed for such applications commonly contains internal cameras for gaze tracking purposes, we evaluate the suitability of such setup for verifying the users through iris recognition. In this work, we first evaluate a set of iris recognition algorithms suitable for HMD devices by investigating three well-established handcrafted feature extraction approaches, and to complement it, we also present the analysis using four deep learning models. While taking into consideration the minimalistic hardware requirements of stand-alone HMD, we employ and adapt a recently developed miniature segmentation model (EyeMMS) for segmenting the iris. Further, to account for non-ideal and non-collaborative capture of iris, we define a new iris quality metric that we termed as Iris Mask Ratio (IMR) to quantify the iris recognition performance. Motivated by the performance of iris recognition, we also propose the continuous authentication of users in a non-collaborative capture setting in HMD. Through the experiments on a publicly available OpenEDS dataset, we show that performance with EER = 5% can be achieved using deep learning methods in a general setting, along with high accuracy for continuous user authentication.

연구 동기 및 목표

• HMD에 통합된 카메라를 활용한 AR/VR 환경에서 인식 기반 사용자 인증의 실현 가능성을 평가하는 것.
• HMD의 하드웨어 제약 조건을 해결하기 위해 소형 분할 모델(EyeMMS)과 계산 비용이 낮은 특징 추출 방법을 적용하는 것.
• 비협업적이고 실시간 영상 촬영 조건에서 강건한 인식을 위해 인식 품질 지표(Iris Mask Ratio, IMR)를 개발하는 것.
• 사용자 협조 없이도 AR/VR 시스템에서 지속적 사용자 인증을 가능하게 하여 민감한 응용 분야의 보안을 확보하는 것.

제안 방법

• 저자원 환경에서 HMD가 촬영한 이미지에서 망막 영역을 추출하기 위해 EyeMMS 경량 분할 모델을 적응 적용한다.
• 세 가지 수작업 기반 인식 특징 추출 방법을 평가한다: 1D Log-Gabor, DCT 계수 기반 인식코드, CSBCA 기반 인식코드.
• 엔드 투 엔드 특징 학습과 인식을 위한 네 가지 딥러닝 모델—DeepIrisNet-A, ResNet-50, DenseNet-201, MobileNetV3—을 활용한다.
• 보기 가능한 망막 비율 기반으로 저품질 인식 이미지를 걸러내기 위해 인식 마스크 비율(IMR)을 품질 지표로 도입한다.
• 저항력이 높고 파rameter 수가 적은 MobileNetV3를 활용해 지속적 인증 프레임워크를 구현한다. 이는 총 3.1M개의 학습 가능 파라미터를 가지며 높은 추론 효율성을 확보한다.
• 기준 성능 평가를 위해 OpenEDS 데이터셋을 사용하며, 검증 성능은 동등오류률(EER)과 해밍 거리 비교를 통해 측정한다.

실험 결과

연구 질문

• RQ1 비협업적이고 실시간 AR/VR 환경에서 HMD 내장 카메라를 활용한 인식이 효과적으로 수행될 수 있는가?
• RQ2 HMD가 촬영한 데이터에서 수작업 기반과 딥러닝 기반 인식 방법 간 정확도와 계산 비용 측면에서의 비교는 어떠한가?
• RQ3 제안된 인식 마스크 비율(IMR) 지표는 비이상적인 영상 촬영 조건에서 성능 향상에 얼마나 기여하는가?
• RQ4 딥러닝 기반 접근을 통해 HMD에서 수용 가능한 정확도와 낮은 계산 오버헤드로 지속적 사용자 인증을 달성할 수 있는가?

주요 결과

• 가장 높은 성능을 보인 딥러닝 모델인 DenseNet-201은 일반 조건에서 OpenEDS 데이터셋에서 5%의 최저 EER를 달성했다.
• MobileNetV3는 정확도와 계산 효율성의 최적 균형을 확보했으며, 학습 가능한 파라미터 수가 단지 310만 개에 불과하여 저전력 HMD에의 구현에 적합하다.
• 제안된 인식 마스크 비율(IMR) 지표는 특히 IMR 임계값 0.7을 설정했을 때 저품질 이미지를 걸러내어 인식 정확도를 크게 향상시켰다.
• IMR 임계값 0.7을 적용한 MobileNetV3 기반 지속적 인증은 EER 5.45%를 기록하여 실시간 환경에서 뛰어난 성능을 입증했다.
• 수작업 기반 방법은 기존 접근보다 낮은 EER를 달성했지만, 특히 비협업 환경에서 딥러닝 모델에 비해 뒤처졌다.
• 경량 분할 모델(EyeMMS)의 사용으로 제약 조건이 있는 HMD 하드웨어에서도 실시간 처리가 가능해졌으며, 임베디드 배포의 실현 가능성을 입증했다.