[논문 리뷰] A Deep Learning based Framework to Detect and Recognize Humans using Contactless Palmprints in the Wild

Yang Liu, Ajay Kumar|arXiv (Cornell University)|2018. 12. 29.

Biometric Identification and Security참고 문헌 29인용 수 7

한 줄 요약

이 논문은 완전 컨volution 네트워크와 새로운 소프트 시프트 트리플릿 손실을 사용하여 비접촉 손바닥 영상에서 인간을 탐지하고 인식하기 위한 딥러닝 프레임워크를 제안한다. 이는 특징을 분류적으로 학습시키고, Faster R-CNN 기반의 손바닥 탐지기로 영역의 관심 영역을 견고하게 국소화한다. 이 방법은 데이터셋에 특화된 튜닝 없이 공개 데이터셋 간에 뛰어난 일반화 성능을 보이며, 정확도와 강인성 면에서 최신 기법들을 능가한다.

ABSTRACT

Contactless and online palmprint identfication offers improved user convenience, hygiene, user-security and is highly desirable in a range of applications. This technical report details an accurate and generalizable deep learning-based framework to detect and recognize humans using contactless palmprint images in the wild. Our network is based on fully convolutional network that generates deeply learned residual features. We design a soft-shifted triplet loss function to more effectively learn discriminative palmprint features. Online palmprint identification also requires a contactless palm detector, which is adapted and trained from faster-R-CNN architecture, to detect palmprint region under varying backgrounds. Our reproducible experimental results on publicly available contactless palmprint databases suggest that the proposed framework consistently outperforms several classical and state-of-the-art palmprint recognition methods. More importantly, the model presented in this report offers superior generalization capability, unlike other popular methods in the literature, as it does not essentially require database-specific parameter tuning, which is another key advantage over other methods in the literature.

연구 동기 및 목표

• 비제약적인 실제 환경에서 정확하고 일반화 가능한 비접촉 손바닥 인식을 위한 딥러닝 기반 프레임워크를 개발하는 것.
• 제약 없는 환경에서의 영상 변동성 문제를 해결하기 위해 개선된 특징 학습 기법을 제공하는 것.
• 수동 세그멘테이션 없이 복잡한 배경에서 손바닥 영역을 탐지할 수 있는 견고한 종단 간 시스템을 설계하는 것.
• 데이터베이스에 특화된 하이퍼파rameter 튜닝에 대한 의존도를 최소화하여 다양한 데이터셋 간의 모델 일반화 능력을 향상시키는 것.
• 공정한 비교 조건 하에서 기존의 기법들과 최신 기법들에 비해 뛰어난 성능을 입증하는 것.

제안 방법

• 비접촉 손바닥 영상에서 깊이 학습된 공간적으로 대응하는 특징을 추출하기 위해 완전 컨volution 리스크넷을 사용한다.
• 영상 변동성과 제한된 훈련 데이터 조건 하에서도 특징의 분류 능력을 향상시키기 위해 새로운 소프트 시프트 트리플릿 손실(SSTL) 함수를 도입한다.
• 손바닥 탐지 모듈은 Faster R-CNN 기반으로, 영역 제안 네트워크(RPN)와 Fast R-CNN 헤드를 포함하여 복잡한 배경에서 손바닥 영역을 정확하게 국소화한다.
• 훈련 중 일반화 능력을 향상시키기 위해 3K장의 이미지 데이터셋에 데이터 증강 기법을 적용하여 30K장으로 확장한다.
• TensorFlow를 사용하여 탐지 및 인식 모듈을 종단 간으로 동시에 훈련시켜 공동 최적화를 가능하게 한다.
• 탐지 강인성 평가를 위해 mAP와 다양한 IoU 임계치(0.35–0.6)에서의 리콜을 사용하여 겹침 조건 변화에 대한 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 데이터베이스에 특화된 하이퍼파rameter 튜닝 없이도 비접촉 손바닥 인식에서 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 소프트 시프트 트리플릿 손실이 제약 없는 환경에서 영상 변동성 하에서도 분류 가능한 특징을 효과적으로 학습시키는 데 얼마나 유용한가?
• RQ3 Faster R-CNN 기반 탐지기가 복잡하고 동적인 배경에서 손의 손바닥 영역을 신뢰성 있게 탐지할 수 있는가?
• RQ4 제안된 프레임워크는 재학습이나 미세조정 없이 다양한 공개 비접촉 손바닥 데이터베이스 간에 잘 일반화되는가?
• RQ5 낮은 IoU 겹침 또는 다양한 조명 및 배경 조건에서의 어려운 탐지 상황에서도 시스템의 성능은 어떠한가?

주요 결과

• 제안된 프레임워크는 공개된 비접촉 손바닥 데이터베이스에서 공정한 비교 조건 하에 기존 기법들과 최신 기법들을 일관되게 능가한다.
• 랜덤 데이터 분할 전략(a)을 사용할 경우, IoU 임계치 0.35에서 mAP 100% 및 리콜 100%를 달성하여 높은 탐지 신뢰도를 입증한다.
• 엄격한 IoU 임계치 0.6에서도 전략(a) 하에서 mAP 98.20% 및 리콜 98.97%를 유지하여 뛰어난 국소화 정확도를 보여준다.
• 배경 기반 분할 전략(b) 하에서는 IoU 0.5에서 mAP 98.44% 및 리콜 98.78%를 달성하여 도메인 이동에 대한 강건성을 입증한다.
• 기타 기법들이 최적 성능을 내기 위해 반드시 필요한 데이터셋에 특화된 튜닝 없이도 시스템이 다양한 데이터셋 간에 효과적으로 일반화된다.
• 훈련된 손바닥 탐지기는 20,000 에포크 후 수렴하며, 평균적으로 1장의 이미지를 0.101초 내에 처리하여 실시간 배포가 가능하다.