[논문 리뷰] 11K Hands: Gender recognition and biometric identification using a large dataset of hand images

Mahmoud Afifi|arXiv (Cornell University)|2017. 11. 12.

Biometric Identification and Security인용 수 10

한 줄 요약

이 논문은 성별 및 신원 레이블이 정확히 명시된 11,000장의 손 이미지(등면 및 손바닥면)로 구성된 대규모 데이터셋을 소개하며, 성별 인식을 위한 이중 스트림 CNN의 효과적 훈련을 가능하게 한다. 훈련된 CNN은 SVM 기반 생체인식 식별을 위한 특징 추출기로 기능하며, 특히 등면 손 이미지가 성별 인식 및 식별 작업에서 손바닥면 이미지보다 뛰어난 성능을 보여, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The human hand possesses distinctive features which can reveal gender information. In addition, the hand is considered one of the primary biometric traits used to identify a person. In this work, we propose a large dataset of human hand images (dorsal and palmar sides) with detailed ground-truth information for gender recognition and biometric identification. Using this dataset, a convolutional neural network (CNN) can be trained effectively for the gender recognition task. Based on this, we design a two-stream CNN to tackle the gender recognition problem. This trained model is then used as a feature extractor to feed a set of support vector machine classifiers for the biometric identification task. We show that the dorsal side of hand images, captured by a regular digital camera, convey effective distinctive features similar to, if not better, those available in the palmar hand images. To facilitate access to the proposed dataset and replication of our experiments, the dataset, trained CNN models, and Matlab source code are available at (https://goo.gl/rQJndd).

연구 동기 및 목표

• 성별 인식 및 생체인식 식별을 위한 세부 주석이 명시된 대규모 공개 손 이미지 데이터셋의 부족을 해결하기 위해.
• 일반적으로 표준 카메라로 촬영되는 등면 손 이미지가 손바닥면 이미지와 비교해 유사하거나 더 뛰어난 분류 특징을 제공할 수 있는지 조사하기 위해.
• 성별 인식을 위한 이중 스트림 CNN을 개발하여, 효과적으로 미세조정 가능하고 생체인식 식별을 위한 특징 추출기로 재사용할 수 있도록 하기 위해.
• 심층 특징(미세조정된 CNN에서 유도된 것)과 수작업 특징(LBP)을 SVM 분류기와 조합하여 개인 식별 성능을 평가하기 위해.
• 데이터셋, 훈련된 모델, 소스 코드를 공개하여 연구의 재현 가능성을 확보하고 손 기반 생체인식 분야의 연구를 촉진하기 위해.

제안 방법

• 이중 스트림 CNN은 성별을 분류하기 위해 11,000장의 손 이미지 데이터셋을 기반으로 훈련되며, 기능 학습을 향상시키기 위해 등면과 손바닥면을 모두 활용한다.
• 훈련된 이중 스트림 CNN은 하류 분류 작업을 위한 고정된 특징 추출기로 사용되며, 최종 완전 연결 층에서 유도된 심층 특징을 생성한다.
• SVM은 CNN에서 생성된 심층 특징을 기반으로 훈련되어 개인 식별을 수행하며, 일대다 전략을 사용한다.
• 추가로 CNN의 다양한 중간 층에서 추출된 특징을 기반으로 SVM 분류기 또한 훈련되어 특징 계층의 기여도를 평가한다.
• 국소 이진 패턴(LBP) 특징은 손 이미지에서 추출되어 별도의 SVM 분류기를 훈련하여 생체인식 식별을 수행한다.
• 성능 평가에서는 무작위 주제 샘플링을 포함한 10겹 교차검증 설정에서 FAR(오류 수용률), FRR(오류 기각률), EER(등가 오류률), AUC(곡선 아래 면적)를 사용한다.

실험 결과

연구 질문

• RQ1 표준 디지털 카메라로 촬영된 등면 손 이미지가 성별 인식 및 생체인식 식별에서 손바닥면 이미지와 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 대규모 손 이미지 데이터셋을 기반으로 훈련된 이중 스트림 CNN 아키텍처가 AlexNet이나 GoogleNet과 같은 표준 CNN보다 성별 인식 정확도를 향상시키는가?
• RQ3 미세조정된 CNN이 SVM과 조합될 때 생체인식 식별을 위한 효과적인 특징 추출기로 얼마나 잘 기능하는가?
• RQ4 사전 훈련된 CNN에서 유도된 심층 특징과 수작업 특징(LBP) 간의 개인 식별 정확도를 비교하면 어떠한가?
• RQ5 다양한 CNN 층 또는 특징 유형(심층 특징 대비 LBP)에서 훈련된 다수의 SVM 분류기를 사용할 경우 전체 생체인식 식별 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 이중 스트림 CNN은 등면에서 98%의 성별 인식 정확도, 손바닥면에서 95.6%의 정확도를 달성하여 AlexNet 및 GoogleNet을 능가했다.
• 등면 손 이미지가 생체인식 식별에서 뛰어난 성능을 보였으며, 80명의 주제에 대해 EER 1.8%와 AUC 0.98을 기록하여 손바닥면 결과를 초월했다.
• 훈련된 CNN에서 유도된 심층 특징과 SVM 분류기의 조합은 등면 식별에서 AUC 0.98을 달성하여 높은 강건성을 보였다.
• 혼동 행렬을 통해 잘못 분류된 비율이 항상 낮았으며, 등면 SVM 실험에서 여성 주제의 2%만 남성으로 잘못 분류되었다.
• 생체인식 식별 실패 사례는 주로 위조자와 진짜 손 이미지 간의 높은 시각적 유사성으로 인해 발생했으며, 특히 등면 비교에서 두드러졌다.
• 데이터셋, 훈련된 모델, 코드는 https://goo.gl/rQJndd 에 공개되어 향후 연구 방법의 재현 가능성과 기준 설정을 가능하게 한다.