[论文解读] DeepID-Net: multi-stage and deformable deep convolutional neural networks for object detection

Wanli Ouyang, Ping Luo+13 more|arXiv (Cornell University)|Sep 11, 2014

Advanced Neural Network Applications参考文献 75被引用 134

一句话总结

本文提出 DeepID-Net，一种用于通用目标检测的多阶段可变形深度卷积神经网络，通过改进特征学习、部件形变建模和上下文信息融合，显著提升检测性能。通过引入形变约束池化（def-pooling）层、使用目标级别标注的新预训练策略、多阶段训练以及多样化的模型平均方法，该方法在 ILSVRC 2014 上实现了 45% 的平均平均精度（mAP），远超 RCNN 的 31%。

ABSTRACT

In this paper, we propose multi-stage and deformable deep convolutional neural networks for object detection. This new deep learning object detection diagram has innovations in multiple aspects. In the proposed new deep architecture, a new deformation constrained pooling (def-pooling) layer models the deformation of object parts with geometric constraint and penalty. With the proposed multi-stage training strategy, multiple classifiers are jointly optimized to process samples at different difficulty levels. A new pre-training strategy is proposed to learn feature representations more suitable for the object detection task and with good generalization capability. By changing the net structures, training strategies, adding and removing some key components in the detection pipeline, a set of models with large diversity are obtained, which significantly improves the effectiveness of modeling averaging. The proposed approach ranked \#2 in ILSVRC 2014. It improves the mean averaged precision obtained by RCNN, which is the state-of-the-art of object detection, from $31\%$ to $45\%$. Detailed component-wise analysis is also provided through extensive experimental evaluation.

研究动机与目标

• 在具有大类内差异、形变和杂乱背景的复杂场景中提升通用目标检测性能。
• 开发一种深度学习框架，联合优化特征表示、部件形变建模和上下文推理。
• 通过新颖的训练与预训练策略，克服过拟合问题，提升深度目标检测器的泛化能力。
• 通过使用多样化架构与训练方案的高效模型平均方法，进一步提升模型性能。

提出的方法

• 引入一种形变约束池化（def-pooling）层，通过施加惩罚来学习部件的几何形变，替代标准的最大池化操作。
• 提出一种新预训练策略，利用 ImageNet 1000 类分类任务中的目标级别标注，而非图像级别标签，以提升特征迁移至检测任务的效果。
• 采用多阶段训练方案，使每一阶段的分类器逐步处理难度递增的样本，通过联合优化与正则化策略减少过拟合。
• 利用通过改变网络结构与训练策略生成的多样化模型集合进行模型平均，通过多样性提升性能。
• 融合来自图像分类得分的上下文信息，并应用边界框回归以优化定位精度。
• 在多个多样化模型之间进行模型平均，采用类别特定的组合策略，进一步提升检测准确率。

实验结果

研究问题

• RQ1 是否能够通过联合建模特征表示、部件形变与上下文信息的深度学习框架，使通用目标检测性能超越 RCNN？
• RQ2 使用目标级别标注而非图像级别标注进行预训练，对检测性能有何影响？
• RQ3 采用逐步挖掘困难样本的多阶段训练策略，在多大程度上能提升泛化能力并减少过拟合？
• RQ4 当模型在架构与训练策略上具有多样性时，模型平均方法在不同目标类别上的有效性如何？
• RQ5 各组件——def-pooling、上下文建模、边界框回归与预训练——对最终检测准确率的贡献分别是什么？

主要发现

• 所提出的 DeepID-Net 在 ILSVRC 2014 验证集上实现了 45% 的平均平均精度（mAP），相比 RCNN 的 31% 显著提升，位列挑战赛第 2 名。
• 将图像级别预训练替换为对象级别预训练，使 mAP 提升约 4%。
• def-pooling 层通过引入几何约束建模部件形变，使 mAP 提升 2.5%。
• 边界框回归与来自分类得分的上下文信息各自使 mAP 提升约 1%。
• 通过在多样化模型（架构与训练策略各异）之间进行模型平均，性能显著提升，最终 mAP 达到 45%。
• 多阶段训练方案有效处理了不同难度的样本，相比标准反向传播，显著减少了过拟合。