[论文解读] Local Binary Pattern(LBP) Optimization for Feature Extraction

Zeinab Sedaghatjoo, Hossein Hosseinzadeh+1 more|arXiv (Cornell University)|Jul 26, 2024

Advanced Algorithms and Applications被引用 4

一句话总结

本文提出了一种基于SVD的新型LBP特征优化方法，通过将LBP算子分解为三个固定矩阵，其中两个矩阵通过奇异值分解（SVD）进行优化，以提升分类性能。该方法在使用远少于标准LBP的特征数量下，显著提升了人脸识别和面部表情识别的准确率。

ABSTRACT

The rapid growth of image data has led to the development of advanced image processing and computer vision techniques, which are crucial in various applications such as image classification, image segmentation, and pattern recognition. Texture is an important feature that has been widely used in many image processing tasks. Therefore, analyzing and understanding texture plays a pivotal role in image analysis and understanding.Local binary pattern (LBP) is a powerful operator that describes the local texture features of images. This paper provides a novel mathematical representation of the LBP by separating the operator into three matrices, two of which are always fixed and do not depend on the input data. These fixed matrices are analyzed in depth, and a new algorithm is proposed to optimize them for improved classification performance. The optimization process is based on the singular value decomposition (SVD) algorithm. As a result, the authors present optimal LBPs that effectively describe the texture of human face images. Several experiment results presented in this paper convincingly verify the efficiency and superiority of the optimized LBPs for face detection and facial expression recognition tasks.

研究动机与目标

• 为解决标准LBP在纹理分类中表现欠佳的问题，识别最优LBP模式。
• 通过矩阵分解对LBP过程进行数学重构，以实现更深入的分析与优化。
• 在保持或提升分类准确率的前提下，减少所需LBP特征的数量。
• 提出一种系统化方法，基于固定矩阵的奇异值分解选择最优LBP模式。
• 在真实世界数据集上验证所提方法在人脸识别与面部表情识别任务中的性能。

提出的方法

• 将LBP算子表示为三个矩阵的乘积：LBP矩阵（E）、分块矩阵（L）和直方图矩阵（H），以支持数学分析。
• 识别出三个矩阵中的两个（L和H）为固定矩阵，且与输入数据无关，从而实现预优化。
• 对固定矩阵L和H应用奇异值分解（SVD），以计算最大化分类性能的最优值。
• 推导出最优的8位二进制LBP模式，其主要为均匀模式（0与1之间的跳变最多两次）。
• 提出一种新算法（算法2），基于SVD优化的矩阵仅提取最具判别力的LBP特征。
• 使用线性SVM结合交叉验证，评估在人脸识别与表情识别任务中的性能。

Figure 1: LBP values computation process. Each $3\times 3$ pixel block in the image is encoded to a LBP value.

实验结果

研究问题

• RQ1 LBP特征提取过程能否被数学地分解为固定与可变组件，以实现优化？
• RQ2 如何将奇异值分解（SVD）应用于LBP算子的固定矩阵，以推导出最优LBP模式？
• RQ3 经优化的LBP特征集是否能在使用更少特征的情况下实现比标准LBP更高的分类准确率？
• RQ4 优化后的LBP模式在人脸识别与面部表情识别任务中性能提升的程度如何？
• RQ5 所提出的基于SVD的优化方法能否推广至其他纹理描述子或更大的像素邻域？

主要发现

• 所提出的SVD优化LBP特征在仅使用16个特征的情况下，实现人脸与杂乱背景分类超过98%的准确率，而标准LBP需256个特征。
• 在CK+数据集上的面部表情识别中，优化后的LBP特征平均准确率达到约90%，优于标准LBP的87%，且使用更少特征。
• 所识别出的最优LBP模式主要为均匀模式，0与1之间的跳变最多两次，证实其在纹理分析中的相关性。
• 与标准LBP相比，优化LBP的混淆矩阵在所有情绪类别中均显著减少误分类，尤其在稀有类别（如轻蔑与厌恶）中表现更优。
• 该方法在保持或提升分类准确率的同时，将所需LBP特征数量减少了一半以上，展现出极高的效率。
• 最优LBP值在人脸识别与面部表情识别任务中保持一致，表明优化模式具有鲁棒性与泛化能力。

Figure 2: LBP feature extraction process. The image is divided into 16 sub-regions and LBP values are extracted from each region. Then the histogram is applied on the LBP values to extract $8$ features for each sub-region. Then, finally, $128=16\times 8$ features are exploited from the image as LBP