[论文解读] MDCN: Multi-Scale, Deep Inception Convolutional Neural Networks for Efficient Object Detection

Wenchi Ma, Yuanwei Wu+2 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Neural Network Applications参考文献 27被引用 3

一句话总结

该论文提出 MDCN，一种单阶段目标检测框架，通过在卷积神经网络的深层插入多尺度、深度的 Inception 模块，提升对小目标和遮挡目标的特征提取能力。通过聚焦于宽感受野并利用低分辨率特征图上的参数高效多尺度滤波，MDCN 在 KITTI 数据集上实现了最先进（SOTA）的 mAP，同时保持了较高的推理速度（15.4–16 FPS），在检测困难样本方面优于 SSD 和先前模型。

ABSTRACT

Object detection in challenging situations such as scale variation, occlusion, and truncation depends not only on feature details but also on contextual information. Most previous networks emphasize too much on detailed feature extraction through deeper and wider networks, which may enhance the accuracy of object detection to certain extent. However, the feature details are easily being changed or washed out after passing through complicated filtering structures. To better handle these challenges, the paper proposes a novel framework, multi-scale, deep inception convolutional neural network (MDCN), which focuses on wider and broader object regions by activating feature maps produced in the deep part of the network. Instead of incepting inner layers in the shallow part of the network, multi-scale inceptions are introduced in the deep layers. The proposed framework integrates the contextual information into the learning process through a single-shot network structure. It is computational efficient and avoids the hard training problem of previous macro feature extraction network designed for shallow layers. Extensive experiments demonstrate the effectiveness and superior performance of MDCN over the state-of-the-art models.

研究动机与目标

• 提升在尺度变化、遮挡和截断等挑战性场景下的目标检测性能。
• 在不增加计算成本或模型复杂度的前提下增强上下文特征学习能力。
• 解决先前最先进模型中使用的深层宽网络存在的效率低下和可移植性差的问题。
• 在实际应用中实现检测精度与推理速度之间的更好权衡。
• 在单阶段检测框架中有效整合多尺度上下文特征。

提出的方法

• 在网络深层（特征图空间尺寸较小）插入多尺度 Inception 模块。
• 使用信息正方形 Inception 模块，通过组合多尺寸滤波器捕捉宽感受野。
• 在下采样操作之后插入 Inception 模块，相比浅层 Inception 模块可显著降低计算负载。
• 采用单阶段检测器架构（受 SSD 启发），以保持实时推理效率。
• 通过多尺度滤波器之间的参数共享，最小化额外参数，保持模型紧凑性。
• 以 VGG-16 作为主干网络，在深层插入 Inception 模块以增强上下文表征能力。

Figure 1: The architecture of MDCN. The red, yellow and green boxes consist of wide-context, multi-scale deep inception structure. Each color denotes one kind of filter size. Purple boxes show classification and localization regression layers according to SSD [ 18 ] .

实验结果

研究问题

• RQ1 深度多尺度 Inception 模块能否提升对小目标和遮挡目标的检测精度？
• RQ2 将 Inception 模块置于深层是否能在提升特征表征能力的同时降低计算成本？
• RQ3 带有深度 Inception 模块的单阶段检测器能否在保持高推理速度的前提下超越现有模型的 mAP 表现？
• RQ4 所提出的 MDCN 框架与 SSD 和 DSSD 等最先进模型相比，在具有挑战性的基准测试中表现如何？
• RQ5 该模型在不同 IoU 阈值下，对困难样本（如小目标或遮挡目标）的性能提升程度如何？

主要发现

• MDCN-I2 在 KITTI 验证集上达到最高 mAP，优于所有其他模型，包括 WR-Inception-I2。
• 在困难子集上，MDCN-I2 对 Car 类的 mAP 比 SSD 高 10%，对 Cyclist 类的 AP 比 WR-Inception-I2 高 20%。
• 在 IoU 阈值从 0.5 到 0.8 的范围内，MDCN-I2 在所有目标类别上均取得最高 AP，其中 Car 类在 IoU=0.5 时达到 88.4% 的 AP。
• MDCN-I1 和 MDCN-I2 在 K40 GPU 上分别实现 15.8 和 15.4 FPS 的推理速度，接近 SSD 的 17.0 FPS，尽管精度更高。
• 模型仅使用 2.55×10⁷ 个参数，仅比 SSD（2.41×10⁷）略多，表明参数开销极小。
• 在视觉对比中，MDCN-I2 几乎检测到了复杂场景中的所有目标，而 SSD 在遮挡或小目标场景中漏检了多个行人和自行车。

Figure 2: Detection examples of SSD and MDCN-I2. In these four sets of images, the top one and the bottom one are from SSD and MDCN-I2, respectively.