[论文解读] Joint Deep Learning for Car Detection

Seyedshams Feyzabadi|arXiv (Cornell University)|Dec 25, 2014

Advanced Neural Network Applications参考文献 23被引用 5

一句话总结

本文提出了一种联合深度学习框架，将特征提取、部件形变处理、遮挡推理和分类整合到一个端到端的卷积神经网络中，用于汽车检测。通过使用Gabor滤波器初始化和数据增强，采用多阶段反向传播策略联合训练这些组件，该方法在UIUC汽车数据集上实现了97%的准确率，比先前的最先进方法高出6个百分点。

ABSTRACT

Traditional object recognition approaches apply feature extraction, part deformation handling, occlusion handling and classification sequentially while they are independent from each other. Ouyang and Wang proposed a model for jointly learning of all of the mentioned processes using one deep neural network. We utilized, and manipulated their toolbox in order to apply it in car detection scenarios where it had not been tested. Creating a single deep architecture from these components, improves the interaction between them and can enhance the performance of the whole system. We believe that the approach can be used as a general purpose object detection toolbox. We tested the algorithm on UIUC car dataset, and achieved an outstanding result. The accuracy of our method was 97 % while the previously reported results showed an accuracy of up to 91 %. We strongly believe that having an experiment on a larger dataset can show the advantage of using deep models over shallow ones.

研究动机与目标

• 将Ouyang等人提出的用于行人检测的联合深度学习框架推广至汽车检测应用。
• 评估端到端联合学习特征提取、形变处理、遮挡推理和分类在目标检测中的有效性。
• 证明联合优化的深度学习方法相较于传统顺序独立处理流程在汽车检测中的优越性。
• 研究数据增强在小样本数据集场景下对模型泛化能力和性能的影响。

提出的方法

• 该模型采用两层卷积结构：第一层通过Gabor滤波器初始化的权重，利用反向传播学习低级特征；第二层使用可学习参数和预定义的形变图进行形变建模。
• 形变层将部件检测图与加权形变图（$c_n$）结合，生成总和图$B_p$，随后通过全局最大池化生成部件得分$s_p$。
• 对部件得分$s_p$应用可见性推理，以生成最终的分类决策。
• 采用多阶段训练策略：首先使用Gabor滤波器初始化第一层，然后逐步增加网络层，复用先前训练的权重进行初始化，并在每个阶段通过反向传播联合优化所有层。
• 通过将图像手动旋转-10°至+10°，每1°为一个增量，应用数据增强以提高对视角变化的鲁棒性。
• 使用对数平均漏检率作为评估指标进行网络训练，并与Agarwal等人在相同UIUC数据集上的方法进行比较。

实验结果

研究问题

• RQ1 能否通过整合特征学习、形变建模和分类的联合深度学习框架，在汽车检测中超越顺序独立处理方法？
• RQ2 与传统流水线方法相比，多个组件的端到端联合训练如何影响检测准确率？
• RQ3 在小物体检测数据集（如UIUC汽车数据集）中，数据增强在多大程度上能提升性能？
• RQ4 该联合学习架构是否能良好泛化至行人和汽车以外的其他物体类别？

主要发现

• 所提出的联合深度学习模型在UIUC汽车数据集上实现了97%的检测准确率，显著优于先前最先进方法6个百分点。
• 未使用数据增强时，模型的平均漏检率为23%，表明对视角变化的鲁棒性有限。
• 通过应用从-10°到+10°的手动旋转数据增强后，平均漏检率降至3%，表明性能有显著提升。
• 采用端到端反向传播和多阶段训练的联合学习方法，改善了特征表示和部件定位，从而实现了比顺序方法更高的准确率。
• 该模型在UIUC数据集上的表现表明，联合学习可作为一种通用框架，适用于超越行人检测的物体检测任务。