[论文解读] Deep Local Binary Patterns

Kelwin Fernandes, Jaime S. Cardoso|arXiv (Cornell University)|Nov 17, 2017

Image Retrieval and Classification Techniques参考文献 32被引用 9

一句话总结

本文提出深度局部二值模式（Deep Local Binary Patterns, Deep LBP），这是一种传统局部二值模式（LBP）的新型扩展，通过可学习的、数据驱动的二值化规则递归应用LBP，以捕捉分层的、高层级特征。通过使用参数化的LBP算子实现逐层抽象，Deep LBP在多个数据集上提升了判别能力，优于标准LBP和多尺度LBP，在所有评估任务中表现更优，其中使用基于PCA的嵌入进行相似性学习时取得最佳结果。

ABSTRACT

Local Binary Pattern (LBP) is a traditional descriptor for texture analysis that gained attention in the last decade. Being robust to several properties such as invariance to illumination translation and scaling, LBPs achieved state-of-the-art results in several applications. However, LBPs are not able to capture high-level features from the image, merely encoding features with low abstraction levels. In this work, we propose Deep LBP, which borrow ideas from the deep learning community to improve LBP expressiveness. By using parametrized data-driven LBP, we enable successive applications of the LBP operators with increasing abstraction levels. We validate the relevance of the proposed idea in several datasets from a wide range of applications. Deep LBP improved the performance of traditional and multiscale LBP in all cases.

研究动机与目标

• 为解决传统LBP因固定、低层次编码而难以捕捉高层级、抽象图像特征的局限性。
• 将深度学习概念——特别是分层特征学习——整合到经典纹理描述子（如LBP）中。
• 通过引入自适应、数据驱动的二值化函数，实现LBP算子的连续应用，从而提升LBP的判别能力。
• 探索两种学习范式：基于相似性的排序与高维嵌入，以实现灵活、面向特定应用的LBP规则学习。
• 在涵盖纹理分类、人脸识别和目标检测的多样化数据集上验证所提方法。

提出的方法

• 提出LBP算子的递归应用，每一层均对前一层的输出应用LBP，实现分层特征抽象。
• 引入参数化的二值化函数，定义LBP码之间的顺序关系，并通过用户定义的相似性度量进行学习。
• 采用高维嵌入空间表示LBP码，使在变换空间中直接学习排序规则成为可能。
• 使用基于PCA的投影方法降低维度，同时在嵌入空间中保留判别性相似性信息。
• 采用两阶段学习策略：首先基于相似性学习排序函数；其次利用训练数据对嵌入进行优化。
• 结合多块LBP直方图与深度堆叠机制，聚合空间区域上的局部特征，增强全局表征能力。

实验结果

研究问题

• RQ1 通过可学习的二值化规则递归应用LBP，能否在传统LBP的基础上实现更优的特征抽象？
• RQ2 通过相似性度量学习LBP码之间的顺序关系，对分类性能有何影响？
• RQ3 将LBP码投影到具有学习顺序关系的高维空间，与直接相似性学习相比，是否能提升判别能力？
• RQ4 Deep LBP在多样化计算机视觉任务中，相较于标准LBP、多尺度LBP及LBPNet变体，其性能提升程度如何？
• RQ5 所提方法是否能在保持光照与旋转鲁棒性的同时，实现更高层次的特征表征？

主要发现

• 在Kylberg纹理数据集上，Deep LBP使用基于PCA的嵌入将准确率提升至99.55%，优于浅层LBP的97.57%。
• 在102 Flowers数据集上，Deep LBP结合PCA将错误率降低至8.80%，优于浅层LBP的12.79%和LBPNet的22.30%。
• 在Caltech 101数据集上，Deep LBP使用PCA将错误率从浅层LBP的41.03%降低至45.14%，显示出对多尺度LBP和LBPNet基线的持续改进。
• 基于PCA的Deep LBP变体在所有数据集中均取得最高性能，证明了高维嵌入在相似性学习中的有效性。
• Deep LBP在所有基准测试中均持续优于标准LBP和多尺度LBP，证实了分层抽象的优势。
• 该方法成功保留了传统LBP的优势（如光照与旋转不变性），同时通过可学习规则实现了深层特征抽象。