[论文解读] A Vision System for Multi-View Face Recognition

Mahmoud Y. Shams, A. S. Tolba+1 more|arXiv (Cornell University)|Jun 1, 2017

Face and Expression Recognition参考文献 11被引用 8

一句话总结

该论文提出了一种用于多视角人脸验证的多模态视觉系统，采用SURF特征提取与混合分类器（MLP、LVQ和RBF）结合，以提升在不同姿态和噪声条件下的鲁棒性。在SDUMLA-HMT、CASIA以及自建的含噪多视角数据集上进行评估，系统在具有挑战性的条件下表现出高准确率与可靠性，证明了其在存在姿态与光照变化的实际场景中的优异性能。

ABSTRACT

Multimodal biometric identification has been grown a great attention in the most interests in the security fields. In the real world there exist modern system devices that are able to detect, recognize, and classify the human identities with reliable and fast recognition rates. Unfortunately most of these systems rely on one modality, and the reliability for two or more modalities are further decreased. The variations of face images with respect to different poses are considered as one of the important challenges in face recognition systems. In this paper, we propose a multimodal biometric system that able to detect the human face images that are not only one view face image, but also multi-view face images. Each subject entered to the system adjusted their face at front of the three cameras, and then the features of the face images are extracted based on Speeded Up Robust Features (SURF) algorithm. We utilize Multi-Layer Perceptron (MLP) and combined classifiers based on both Learning Vector Quantization (LVQ), and Radial Basis Function (RBF) for classification purposes. The proposed system has been tested using SDUMLA-HMT, and CASIA datasets. Furthermore, we collected a database of multi-view face images by which we take the additive white Gaussian noise into considerations. The results indicated the reliability, robustness of the proposed system with different poses and variations including noise images.

研究动机与目标

• 解决真实应用场景中因姿态和光照变化带来的面部识别挑战。
• 开发一种鲁棒的多模态生物特征识别系统，能够从多个摄像头视角识别面部。
• 通过结合多层感知机（MLP）、学习向量量化（LVQ）和径向基函数（RBF）网络等多种分类器，提升识别的可靠性。
• 评估系统在加性白高斯噪声和多样化姿态变化条件下的性能表现。
• 收集并利用一个新的含噪多视角人脸数据库，以验证系统的鲁棒性。

提出的方法

• 系统使用三个同步摄像机，从不同角度捕获多视角人脸图像。
• 采用加速稳健特征（SURF）算法从每张人脸图像中提取特征，实现高效且鲁棒的关键点检测。
• 分类过程采用混合方法，结合多层感知机（MLP）、学习向量量化（LVQ）和径向基函数（RBF）神经网络。
• 通过融合策略整合各独立分类器的输出，以提升整体识别准确率。
• 收集了一个带有白高斯噪声的自定义多视角人脸数据库，用于测试在图像质量退化条件下的鲁棒性。
• 系统在公开可用的数据集SDUMLA-HMT和CASIA上进行评估，涵盖受控条件与噪声条件下的测试。

实验结果

研究问题

• RQ1 多模态视觉系统能否有效识别多视角下姿态各异的人脸？
• RQ2 SURF特征与混合分类器的结合在姿态变化条件下如何提升识别准确率？
• RQ3 当人脸图像受到加性白高斯噪声影响时，系统性能在多大程度上仍能保持稳定？
• RQ4 与单模态方法相比，所提出的系统在鲁棒性与可靠性方面表现如何？
• RQ5 带有噪声的自定义多视角人脸数据库能否有效提升对真实世界识别性能的评估？

主要发现

• 所提出的系统在SDUMLA-HMT和CASIA数据集上均实现了高识别准确率，展现出在多样化姿态下的强大性能。
• MLP、LVQ与RBF分类器的融合显著提升了识别可靠性，优于单一分类器的表现。
• 即使在人脸图像受加性白高斯噪声污染的情况下，系统仍保持稳健性能，证实其对图像退化的强适应能力。
• 带有噪声的自定义多视角人脸数据库在验证系统在真实条件下的鲁棒性方面表现出良好效果。
• SURF特征实现了高效且稳定的特征点提取，有助于在视角变化下保持性能一致性。
• 结果表明，多分类器的多模态融合可显著提升在复杂真实挑战（如姿态变化与噪声）下的识别能力。