[论文解读] Fusion of Wavelet Coefficients from Visual and Thermal Face Images for Human Face Recognition - A Comparative Study

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Face and Expression Recognition参考文献 30被引用 11

一句话总结

本文提出一种基于离散小波变换（DWT）系数的视觉与热成像人脸图像融合方法，以增强人脸识别性能。通过分别计算视觉图像和热成像图像的DWT系数，利用哈尔（Haar）和多贝西（db2）小波进行融合，并应用逆DWT，该方法在IRIS热成像/视觉人脸数据库上实现了100%的最大识别成功率，表明两种小波类型均表现出优越性能。

ABSTRACT

In this paper we present a comparative study on fusion of visual and thermal images using different wavelet transformations. Here, coefficients of discrete wavelet transforms from both visual and thermal images are computed separately and combined. Next, inverse discrete wavelet transformation is taken in order to obtain fused face image. Both Haar and Daubechies (db2) wavelet transforms have been used to compare recognition results. For experiments IRIS Thermal/Visual Face Database was used. Experimental results using Haar and Daubechies wavelets show that the performance of the approach presented here achieves maximum success rate of 100% in many cases.

研究动机与目标

• 研究融合视觉与热成像人脸图像在提升识别性能方面的有效性。
• 比较不同小波变换（特别是哈尔和多贝西（db2））在融合过程中的识别准确率。
• 评估基于小波的系数融合对在不同光照和热成像条件下人脸识别鲁棒性的影响。
• 确定基于小波的融合是否能利用标准人脸数据库实现最优识别性能。

提出的方法

• 对视觉和热成像人脸图像分别独立应用离散小波变换（DWT），以提取小波系数。
• 通过预定义的融合规则，将两类图像的细节系数和近似系数进行组合，实现小波系数的融合。
• 对融合后的系数集应用逆DWT，以重建出单一的、增强的人脸图像。
• 使用哈尔和多贝西（db2）小波对融合性能进行对比分析。
• 在融合图像上使用标准人脸识别技术进行识别，并在IRIS热成像/视觉人脸数据库上评估性能。

实验结果

研究问题

• RQ1 与仅使用单谱图像相比，利用小波系数融合视觉与热成像人脸图像是否能提高识别准确率？
• RQ2 在系数融合过程中，哈尔和多贝西（db2）小波在识别性能方面有何差异？
• RQ3 在具有挑战性的环境条件下，基于小波的融合能否实现接近完美的识别率？
• RQ4 结合视觉与热成像模态的DWT系数，最优的融合策略是什么？

主要发现

• 所提出的融合方法在IRIS热成像/视觉人脸数据库的多个实验案例中，实现了100%的最大识别成功率。
• 哈尔和多贝西（db2）小波均表现出优异的识别性能，两者总体成功率无显著差异。
• 小波系数的融合有效保留了关键面部特征，同时减少了噪声和光照变化的影响。
• 结果表明，基于小波的融合是多模态人脸识别在多样化成像条件下的一种鲁棒且高效的方法。