[论文解读] 11K Hands: Gender recognition and biometric identification using a large dataset of hand images

Mahmoud Afifi|arXiv (Cornell University)|Nov 12, 2017

Biometric Identification and Security被引用 10

一句话总结

本文提出一个大规模手部图像数据集，包含11,000张手部图像（背侧与掌侧），并附有真实性别与身份标签，可有效用于训练双流卷积神经网络（CNN）进行性别识别。训练后的CNN作为SVM生物识别身份识别的特征提取器，实现最先进性能，尤其在背侧手部图像上表现优于掌侧图像，无论在性别识别还是身份识别任务中均表现更优。

ABSTRACT

The human hand possesses distinctive features which can reveal gender information. In addition, the hand is considered one of the primary biometric traits used to identify a person. In this work, we propose a large dataset of human hand images (dorsal and palmar sides) with detailed ground-truth information for gender recognition and biometric identification. Using this dataset, a convolutional neural network (CNN) can be trained effectively for the gender recognition task. Based on this, we design a two-stream CNN to tackle the gender recognition problem. This trained model is then used as a feature extractor to feed a set of support vector machine classifiers for the biometric identification task. We show that the dorsal side of hand images, captured by a regular digital camera, convey effective distinctive features similar to, if not better, those available in the palmar hand images. To facilitate access to the proposed dataset and replication of our experiments, the dataset, trained CNN models, and Matlab source code are available at (https://goo.gl/rQJndd).

研究动机与目标

• 为解决当前缺乏大规模、公开可用的手部图像数据集，且缺乏针对性别识别与生物识别身份验证的详细标注问题。
• 探究是否可利用标准数码相机拍摄的背侧手部图像，获得与掌侧图像相当或更优的判别性特征。
• 开发一种双流CNN用于性别识别，该网络可被有效微调并作为生物识别身份验证的特征提取器复用。
• 评估结合SVM分类器时，深度特征（来自微调CNN）与手工设计特征（LBP）在人员识别中的性能表现。
• 通过公开发布数据集、训练模型与源代码，提供可复现的基准，以促进手部生物识别领域的研究。

提出的方法

• 在11,000张手部图像数据集上训练双流CNN，用于性别分类，利用背侧与掌侧视图联合提升特征学习能力。
• 将训练好的双流CNN作为固定特征提取器，从最后一层全连接层提取深度特征，用于下游分类任务。
• 在CNN生成的深度特征上训练支持向量机（SVM），采用一对多策略执行人员身份识别。
• 在CNN的不同中间层提取特征，并训练额外的SVM分类器，以评估特征层次结构的贡献。
• 从手部图像中提取局部二值模式（LBP）特征，并训练独立的SVM分类器用于生物识别身份验证。
• 在10折交叉验证设置下，采用随机选取受试者的方式，使用FAR（误接受率）、FRR（误拒绝率）、EER（等错误率）和AUC（曲线下面积）评估性能。

实验结果

研究问题

• RQ1 使用标准数码相机拍摄的背侧手部图像是否能在性别识别与生物识别身份验证中实现与掌侧图像相当或更优的性能？
• RQ2 与AlexNet或GoogleNet等标准CNN相比，基于大规模手部图像数据集训练的双流CNN架构是否能显著提升性别识别准确率？
• RQ3 微调后的CNN在与SVM结合时，作为生物识别身份验证的有效特征提取器，其性能提升程度如何？
• RQ4 与手工设计的LBP特征相比，预训练CNN提取的深度特征在手部生物识别系统中的识别准确率表现如何？
• RQ5 在不同CNN层或不同特征类型（深度特征 vs. LBP）上训练多个SVM分类器，对整体生物识别身份验证性能有何影响？

主要发现

• 所提出的双流CNN在背侧图像上达到98%的性别识别准确率，在掌侧图像上达到95.6%，优于AlexNet与GoogleNet。
• 背侧手部图像在生物识别身份验证中表现更优，80名受试者中EER为1.8%，AUC为0.98，优于掌侧图像结果。
• 结合微调CNN的深度特征与SVM分类器，背侧图像身份识别的AUC达到0.98，表明具有高度鲁棒性。
• 混淆矩阵显示，错误分类率始终较低，背侧SVM实验中仅有2%的女性受试者被错误分类为男性。
• 生物识别身份验证的失败案例主要源于伪造者与真实手部图像之间的视觉高度相似性，尤其在背侧图像比较中更为明显。
• 数据集、训练模型与代码已公开发布于 https://goo.gl/rQJndd，支持完整可复现性与未来方法的基准测试。