[论文解读] A Multi-Biometrics for Twins Identification Based Speech and Ear

Cihan Akın, Ümit Kaçar+1 more|arXiv (Cornell University)|Jan 27, 2018

Biometric Identification and Security参考文献 7被引用 11

一句话总结

本文提出了一种多模态生物识别系统，结合语音（使用MFCC和DTW）与耳部图像识别（使用Gabor滤波器和DCVA），以区分同卵双胞胎，在得分级融合下实现了100%的rank-5识别率。语音与耳部生物识别的融合显著提升了单模态系统在双胞胎识别中的识别准确率，尤其在传统方法失效的情况下表现突出。

ABSTRACT

The development of technology biometrics becomes crucial more. To define human characteristic biometric systems are used but because of inability of traditional biometric systems to recognize twins, multimodal biometric systems are developed. In this study a multimodal biometric recognition system is proposed to recognize twins from each other and from the other people by using image and speech data. The speech or image data can be enough to recognize people from each other but twins cannot be distinguished with one of these data. Therefore a robust recognition system with the combine of speech and ear images is needed. As database, the photos and speech data of 39 twins are used. For speech recognition MFCC and DTW algorithms are used. Also, Gabor filter and DCVA algorithms are used for ear identification. Multi-biometrics success rate is increased by making matching score level fusion. Especially, rank-5 is reached 100%. We think that speech and ear can be complementary. Therefore, it is result that multi-biometrics based speech and ear is effective for human identifications.

研究动机与目标

• 为解决传统生物识别系统在区分同卵双胞胎时面临的挑战，这些系统常因高度相似性而失效。
• 开发一种鲁棒的多模态生物识别系统，结合语音与耳部图像数据，以提高识别准确率。
• 评估语音与耳部生物识别系统在得分级融合中对提升识别性能的有效性。
• 证明语音与耳部生物识别在人类识别中具有互补性，尤其是在双胞胎识别中。

提出的方法

• 从音频样本中使用梅尔频率倒谱系数（MFCC）提取语音特征。
• 应用动态时间规整（DTW）匹配语音序列并计算相似度得分。
• 使用Gabor滤波器处理耳部图像以提取纹理特征。
• 使用方向分量向量分析（DCVA）对耳部生物识别特征进行建模与分类。
• 在得分级对语音与耳部模态的匹配得分进行融合，以提升整体识别性能。
• 计算rank-5识别率，以评估在39对双胞胎数据集上的系统鲁棒性与准确性。

实验结果

研究问题

• RQ1 结合语音与耳部识别的多模态生物识别系统能否有效区分同卵双胞胎？
• RQ2 与单模态系统相比，语音与耳部生物识别得分的得分级融合在多大程度上提升了识别准确率？
• RQ3 在双胞胎识别中，语音与耳部生物识别在多大程度上具有互补性？
• RQ4 在包含39对双胞胎的数据集上，所提出系统的rank-5识别率表现如何？

主要发现

• 所提出的多模态系统实现了100%的rank-5识别率，表明在区分双胞胎方面具有高度可靠性。
• 与单一模态相比，语音与耳部生物识别得分的得分级融合显著提升了识别性能。
• MFCC与DTW结合用于语音，Gabor滤波器与DCVA结合用于耳部识别，在提取判别性特征方面被证明是有效的。
• 结果证实，语音与耳部生物识别具有互补性，尤其在具有挑战性的双胞胎识别场景中表现突出。
• 该系统优于单生物识别方法，证明了在生物识别中多模态融合的价值。