[论文解读] Classification of fused face images using multilayer perceptron neural network

Debotosh Bhattacharjee, Mrinal Kanti Bhowmik+3 more|arXiv (Cornell University)|Jul 5, 2010

Face and Expression Recognition参考文献 17被引用 7

一句话总结

本文提出了一种基于融合的面部识别方法，通过像素级融合将视觉和热成像面部图像结合，以增强对光照、姿态和表情变化的鲁棒性。融合后的图像被投影到特征空间，并通过多层感知机进行分类，在 OTCBVS 数据库上实现了 95.07% 的识别成功率，显著优于单一模态的方法。

ABSTRACT

This paper presents a concept of image pixel fusion of visual and thermal faces, which can significantly improve the overall performance of a face recognition system. Several factors affect face recognition performance including pose variations, facial expression changes, occlusions, and most importantly illumination changes. So, image pixel fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Fused images are projected into eigenspace and finally classified using a multi-layer perceptron. In the experiments we have used Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark thermal and visual face images. Experimental results show that the proposed approach significantly improves the verification and identification performance and the success rate is 95.07%. The main objective of employing fusion is to produce a fused image that provides the most detailed and reliable information. Fusion of multiple images together produces a more efficient representation of the image.

研究动机与目标

• 在光照变化、姿态变化和面部表情变化等挑战性条件下提升面部识别性能。
• 通过融合两种模态的互补信息，解决纯视觉或纯热成像面部识别的局限性。
• 开发一种鲁棒的图像融合技术，生成单一、详细且可靠的表示，以提升分类性能。
• 评估多层感知机（MLP）神经网络在分类融合面部图像方面的有效性。
• 证明像素级融合视觉与热成像图像可提升验证和识别的准确性。

提出的方法

• 在像素级别融合视觉和热成像面部图像，生成结合了增强结构信息和热信息的复合图像。
• 使用主成分分析（PCA）将融合后的图像投影到特征空间，以实现降维和特征提取。
• 在降维后的特征空间上训练多层感知机（MLP）神经网络以实现分类。
• 使用 OTCBVS 数据库作为基准数据集，其中包含同步的视觉和热成像面部图像。
• 在融合和特征提取之前应用标准的预处理步骤，包括归一化和对齐。
• 使用反向传播算法优化 MLP 架构，以适用于二分类和多分类面部识别任务。

实验结果

研究问题

• RQ1 像素级融合视觉与热成像面部图像是否能提升在不利条件下的识别性能？
• RQ2 视觉与热成像数据的结合如何影响面部特征的判别能力？
• RQ3 使用 MLP 分类器在融合面部图像上的分类准确率提升程度如何？
• RQ4 特征空间投影对识别系统泛化能力和效率有何影响？
• RQ5 所提出的融合方法与单独的视觉或热成像面部识别系统相比表现如何？

主要发现

• 所提出的融合方法在 OTCBVS 基准数据库上实现了 95.07% 的识别成功率。
• 融合图像提供的信息比单独的视觉或热成像图像更详细、更可靠。
• 像素级融合与 MLP 分类的结合显著优于单一模态的识别系统。
• 特征空间投影有效降低了维度，同时保留了用于分类的判别性特征。
• 该方法对光照变化、姿态改变和面部表情差异表现出鲁棒性。
• 结果证实，多模态融合可显著提升面部识别系统的整体性能。