[论文解读] Quotient Based Multiresolution Image Fusion of Thermal and Visual Images Using Daubechies Wavelet Transform for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Advanced Image Fusion Techniques参考文献 41被引用 5

一句话总结

本文提出一种基于商的多分辨率图像融合方法，利用Daubechies小波变换融合热成像与可见光人脸图像，以提升人脸识别性能。通过将图像分解为小波系数，计算一级或二级的基于商的融合，并应用主成分分析（PCA）后接多层感知机（MLP）分类，该方法在不同光照条件下于OTCBVS和IRIS数据库上实现了100%的识别准确率。

ABSTRACT

This paper investigates the multiresolution level-1 and level-2 Quotient based Fusion of thermal and visual images. In the proposed system, the method-1 namely "Decompose then Quotient Fuse Level-1" and the method-2 namely "Decompose-Reconstruct then Quotient Fuse Level-2" both work on wavelet transformations of the visual and thermal face images. The wavelet transform is well-suited to manage different image resolution and allows the image decomposition in different kinds of coefficients, while preserving the image information without any loss. This approach is based on a definition of an illumination invariant signature image which enables an analytic generation of the image space with varying illumination. The quotient fused images are passed through Principal Component Analysis (PCA) for dimension reduction and then those images are classified using a multi-layer perceptron (MLP). The performances of both the methods have been evaluated using OTCBVS and IRIS databases. All the different classes have been tested separately, among them the maximum recognition result is 100%.

研究动机与目标

• 通过使用多分辨率小波分析融合热成像与可见光图像，解决光照变化对人脸识别的影响。
• 通过基于商的融合方法构建光照不变的图像特征表示，以增强特征表达能力。
• 通过融合热成像与可见光模态的互补信息，提升识别准确率。
• 在不同光照条件下，于标准人脸识别数据库上评估该融合方法的性能。
• 在PCA-MLP分类流程中，证明基于Daubechies小波的多分辨率融合方法的有效性。

提出的方法

• 该方法应用Daubechies小波变换，将热成像与可见光人脸图像分解为多分辨率子带。
• 对于一级融合，直接计算热成像与可见光图像对应小波系数的商。
• 对于二级融合，先对图像进行分解与重建，再计算重建子带的商。
• 将基于商的融合图像进一步进行主成分分析（PCA），以实现降维。
• 将降维后的特征向量输入多层感知机（MLP）神经网络进行分类。
• 该融合策略在不损失图像信息的前提下，增强了对光照变化的鲁棒性。

实验结果

研究问题

• RQ1 在多分辨率层级上，基于商的热成像与可见光图像融合是否能提升在不同光照条件下的人脸识别性能？
• RQ2 一级与二级基于商的融合在识别准确率与特征保留方面有何差异？
• RQ3 使用Daubechies小波在多大程度上提升了融合质量与识别鲁棒性？
• RQ4 所提出的融合方法是否能生成光照不变的图像特征表示，从而提升分类性能？
• RQ5 该方法在OTCBVS与IRIS等标准人脸数据库上的识别性能如何？

主要发现

• 所提方法在不同光照条件下，于OTCBVS与IRIS数据库上均实现了100%的人脸识别准确率。
• 二级基于商的融合性能优于一级融合，归因于更优的重建效果与系数对齐。
• 使用Daubechies小波实现了有效的多分辨率分解，同时无损保留了关键图像特征。
• 主成分分析有效降低了特征维度，提升了计算效率与分类稳定性。
• 基于商的融合方法成功生成了光照不变的图像特征表示，显著增强了对光照变化的鲁棒性。
• 当输入为经PCA降维的热成像与可见光图像对融合后的商特征时，MLP分类器达到最优性能。