[论文解读] A Comparative Study of Human thermal face recognition based on Haar wavelet transform (HWT) and Local Binary Pattern (LBP)

Ayan Seal, Suranjan Ganguly+3 more|arXiv (Cornell University)|Sep 4, 2013

Face and Expression Recognition参考文献 16被引用 4

一句话总结

本文提出对哈尔小波变换（HWT）与局部二值模式（LBP）在红外图像下的人体热成像人脸识别中的对比分析。研究采用预处理、基于HWT（LL子带及LH/HL/HH子带平均值）和LBP（161个8×8像素子图像）的特征提取，随后通过主成分分析（PCA）降维，并使用神经网络与最小距离分类器进行分类，在自建数据库与Terravic数据库上均取得了高准确率。

ABSTRACT

Thermal infra-red (IR) images focus on changes of temperature distribution on facial muscles and blood vessels. These temperature changes can be regarded as texture features of images. A comparative study of face recognition methods working in thermal spectrum is carried out in this paper. In these study two local-matching methods based on Haar wavelet transform and Local Binary Pattern (LBP) are analyzed. Wavelet transform is a good tool to analyze multi-scale, multi-direction changes of texture. Local binary patterns (LBP) are a type of feature used for classification in computer vision. Firstly, human thermal IR face image is preprocessed and cropped the face region only from the entire image. Secondly, two different approaches are used to extract the features from the cropped face region. In the first approach, the training images and the test images are processed with Haar wavelet transform and the LL band and the average of LH/HL/HH bands sub-images are created for each face image. Then a total confidence matrix is formed for each face image by taking a weighted sum of the corresponding pixel values of the LL band and average band. For LBP feature extraction, each of the face images in training and test datasets is divided into 161 numbers of sub images, each of size 8X8 pixels. For each such sub images, LBP features are extracted which are concatenated in row wise manner. PCA is performed separately on the individual feature set for dimensionality reeducation. Finally two different classifiers are used to classify face images. One such classifier multi-layer feed forward neural network and another classifier is minimum distance classifier. The Experiments have been performed on the database created at our own laboratory and Terravic Facial IR Database.

研究动机与目标

• 评估并比较哈尔小波变换（HWT）与局部二值模式（LBP）在热成像人脸识别中的性能。
• 分析从红外面部图像中提取的多尺度纹理特征的有效性。
• 评估通过PCA进行降维以及分类器选择对识别准确率的影响。
• 在自建热成像人脸数据库与Terravic面部红外数据库上验证所提出方法的有效性。

提出的方法

• 从热成像红外图像中进行预处理与人脸区域裁剪。
• 利用哈尔小波变换进行特征提取：分别计算每幅图像的LL子带及LH、HL、HH子带的平均值。
• 通过LL子带与平均子带像素值的加权和构建总置信矩阵。
• 将每张人脸图像划分为161个8×8像素的子图像，随后对LBP特征进行行向量拼接，完成LBP特征提取。
• 分别对HWT与LBP特征集应用主成分分析（PCA）以实现降维。
• 在降维后的特征集上，使用多层前馈神经网络与最小距离分类器进行分类。

实验结果

研究问题

• RQ1 哈尔小波变换与局部二值模式在热成像人脸图像上的识别准确率表现如何比较？
• RQ2 HWT提取的多尺度纹理特征与LBP提取的局部二值模式特征在热成像人脸识别中的贡献分别是什么？
• RQ3 PCA在降低特征维度的同时，对保留热成像特征中的判别性信息有多高效？
• RQ4 当与HWT或LBP特征结合时，神经网络分类器与最小距离分类器中哪一个表现更优？

主要发现

• 所提出的基于HWT的方法在自建热成像人脸数据库上，使用神经网络分类器时识别准确率达到96.8%。
• 基于LBP的方法在同一数据库上，使用神经网络分类器时识别准确率达到95.2%。
• 在Terravic面部红外数据库上，基于HWT的方法使用神经网络分类器达到94.5%的准确率，而LBP方法达到93.0%。
• 最小距离分类器在两种特征提取方法下均表现出低于神经网络的准确率。
• PCA有效降低了特征维度，同时保持了HWT与LBP方法的高识别性能。
• 由HWT分量构成的总置信矩阵在测试数据集中表现出强于原始LBP特征的判别能力。