[论文解读] Image Pixel Fusion for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Face and Expression Recognition参考文献 15被引用 8

一句话总结

本文提出了一种光学与热成像人脸图像的像素级融合方法，以在光照变化、面部遮挡和纹理可见度差等挑战性条件下提升识别性能。通过使用加权平均法融合图像，将其投影到特征空间，并利用RBF和MLP神经网络进行分类，该方法在OTCBV数据库上的识别准确率分别达到96%和95.07%。

ABSTRACT

In this paper we present a technique for fusion of optical and thermal face images based on image pixel fusion approach. Out of several factors, which affect face recognition performance in case of visual images, illumination changes are a significant factor that needs to be addressed. Thermal images are better in handling illumination conditions but not very consistent in capturing texture details of the faces. Other factors like sunglasses, beard, moustache etc also play active role in adding complicacies to the recognition process. Fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Here fused images are projected into an eigenspace and the projected images are classified using a radial basis function (RBF) neural network and also by a multi-layer perceptron (MLP). In the experiments Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark for thermal and visual face images have been used. Comparison of experimental results show that the proposed approach performs significantly well in recognizing face images with a success rate of 96% and 95.07% for RBF Neural Network and MLP respectively.

研究动机与目标

• 解决在光照条件变化下视觉人脸识别的局限性。
• 克服热成像人脸图像中纹理细节不足的问题。
• 提升对太阳镜、胡须和山羊胡等面部遮挡的鲁棒性。
• 开发一种融合策略，结合光学与热成像两种模态的优势。
• 通过特征空间投影和神经网络分类器评估融合图像的性能。

提出的方法

• 采用加权平均技术在像素级别融合光学与热成像人脸图像。
• 使用主成分分析（PCA）将融合后的图像投影到特征空间。
• 使用径向基函数（RBF）神经网络和多层感知机（MLP）进行分类。
• 使用物体跟踪与可见光谱以外的分类（OTCBVS）数据库进行训练和测试。
• 优化图像融合权重，以保留两种模态的显著特征。
• 基于多个测试集的分类准确率评估识别性能。

实验结果

研究问题

• RQ1 像素级融合光学与热成像人脸图像是否能提升在光照不足条件下的识别性能？
• RQ2 与单一模态相比，互补的视觉与热成像数据融合如何影响识别准确率？
• RQ3 RBF与MLP神经网络在分类融合人脸图像时的性能表现如何比较？
• RQ4 面部遮挡和纹理变化在多大程度上影响识别性能？融合方法在多大程度上缓解了这些问题？
• RQ5 对融合图像进行特征空间投影是否能增强用于识别的判别性特征表示？

主要发现

• 所提出的像素融合方法在使用RBF神经网络时达到了96%的识别准确率。
• MLP分类器在融合后的人脸图像上实现了95.07%的识别准确率。
• 与单独使用光学或热成像图像相比，融合显著提升了识别性能。
• 该方法对光照变化和部分面部遮挡（如太阳镜和胡须）表现出鲁棒性。
• 特征空间投影有效降低了维度，同时保留了用于分类的判别性特征。
• OTCBVS数据库为在非理想条件下评估多模态人脸识别提供了可靠的基准。