[论文解读] A HMAX with LLC for visual recognition

Kean Hong Lau, Yong Haur Tay+1 more|arXiv (Cornell University)|Feb 10, 2015

Advanced Image and Video Retrieval Techniques参考文献 24被引用 13

一句话总结

本文通过用局部约束线性编码（LLC）替代L1最小化稀疏编码，并在第一层重新引入简单的方向滤波器组以替代PCA，提出了一种改进的HMAX架构用于视觉识别。该方法在不使用迁移学习的情况下于Caltech-101数据集上实现了79.0%的准确率，通过部分信号白化、斑点检测和空间金字塔匹配（SPM）优于先前的HMAX变体。

ABSTRACT

Today's high performance deep artificial neural networks (ANNs) rely heavily on parameter optimization, which is sequential in nature and even with a powerful GPU, would have taken weeks to train them up for solving challenging tasks [22]. HMAX [17] has demonstrated that a simple high performing network could be obtained without heavy optimization. In this paper, we had improved on the existing best HMAX neural network [12] in terms of structural simplicity and performance. Our design replaces the L1 minimization sparse coding (SC) with a locality-constrained linear coding (LLC) [20] which has a lower computational demand. We also put the simple orientation filter bank back into the front layer of the network replacing PCA. Our system's performance has improved over the existing architecture and reached 79.0% on the challenging Caltech-101 [7] dataset, which is state-of-the-art for ANNs (without transfer learning). From our empirical data, the main contributors to our system's performance include an introduction of partial signal whitening, a spot detector, and a spatial pyramid matching (SPM) [14] layer.

研究动机与目标

• 在保持结构简洁性的同时，提升HMAX架构在视觉识别任务中的性能。
• 通过用局部约束线性编码（LLC）替代L1最小化稀疏编码，降低计算成本。
• 在前端层恢复使用简单的方向滤波器组，替代PCA以获得更好的特征表示。
• 在不使用迁移学习的情况下，实现在Caltech-101数据集上神经网络方法的最先进性能。
• 研究部分信号白化、斑点检测和空间金字塔匹配对识别准确率的影响。

提出的方法

• 用局部约束线性编码（LLC）替代L1最小化稀疏编码，降低计算需求的同时保留判别性特征。
• 在第一层重新引入简单的方向滤波器组，替代PCA以更好地捕捉局部纹理和边缘信息。
• 应用部分信号白化以归一化特征响应，提升对输入变化的鲁棒性。
• 引入斑点检测器以增强局部特征检测能力，提升对显著图像区域的响应。
• 集成空间金字塔匹配（SPM）层，以跨多个空间尺度聚合特征，提升判别能力。
• 采用受HMAX启发的分层架构，通过在空间位置和特征图上进行最大池化，构建对变换不变的表示。

实验结果

研究问题

• RQ1 LLC能否在HMAX中替代L1最小化稀疏编码，以降低计算成本同时保持或提升性能？
• RQ2 在第一层重新引入方向滤波器组与使用PCA相比，在视觉识别任务中表现如何？
• RQ3 部分信号白化在HMAX框架中对整体识别准确率的贡献是什么？
• RQ4 引入斑点检测器和空间金字塔匹配（SPM）在多大程度上提升了Caltech-101上的性能？
• RQ5 非深度、非优化的神经网络架构能否在不使用迁移学习的情况下实现在Caltech-101上的最先进性能？

主要发现

• 所提出的HMAX结合LLC在Caltech-101数据集上实现了79.0%的top-1准确率，是不使用迁移学习的ANN方法中的最先进结果。
• LLC的使用相比L1最小化稀疏编码显著降低了计算成本，同时保持了具有竞争力的特征表示能力。
• 在第一层重新引入方向滤波器组显著优于基于PCA的预处理，提升了特征提取效果。
• 部分信号白化通过归一化特征响应，有效提升了鲁棒性和性能。
• 斑点检测器增强了对显著图像结构的局部特征检测能力。
• 空间金字塔匹配（SPM）通过聚合多尺度特征显著提升了性能，证明了其在HMAX框架中的有效性。