[论文解读] MDFN: Multi-Scale Deep Feature Learning Network for Object Detection

Wenchi Ma, Yuanwei Wu+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 40被引用 8

一句话总结

MDFN 提出了一种单阶段目标检测器，通过利用深层网络层中的多尺度深度特征来提升对小目标和遮挡目标的检测性能。通过在深层网络中引入信息方块和立方体 Inception 模块，MDFN 在计算开销极小的前提下增强了语义和上下文表征能力，在 KITTI、VOC 和 COCO 数据集上实现了最先进水平的检测精度，同时具备优异的速度-精度权衡。

ABSTRACT

This paper proposes an innovative object detector by leveraging deep features learned in high-level layers. Compared with features produced in earlier layers, the deep features are better at expressing semantic and contextual information. The proposed deep feature learning scheme shifts the focus from concrete features with details to abstract ones with semantic information. It considers not only individual objects and local contexts but also their relationships by building a multi-scale deep feature learning network (MDFN). MDFN efficiently detects the objects by introducing information square and cubic inception modules into the high-level layers, which employs parameter-sharing to enhance the computational efficiency. MDFN provides a multi-scale object detector by integrating multi-box, multi-scale and multi-level technologies. Although MDFN employs a simple framework with a relatively small base network (VGG-16), it achieves better or competitive detection results than those with a macro hierarchical structure that is either very deep or very wide for stronger ability of feature extraction. The proposed technique is evaluated extensively on KITTI, PASCAL VOC, and COCO datasets, which achieves the best results on KITTI and leading performance on PASCAL VOC and COCO. This study reveals that deep features provide prominent semantic information and a variety of contextual contents, which contribute to its superior performance in detecting small or occluded objects. In addition, the MDFN model is computationally efficient, making a good trade-off between the accuracy and speed.

研究动机与目标

• 通过利用深层特征中的语义和上下文信息，而非仅依赖低层细节，来应对小目标和遮挡目标检测的挑战。
• 克服深层网络在前向传播过程中特征表征退化的问题，特别是在极深或极宽架构中。
• 通过聚焦于高层层的特征学习来提升计算效率，减少对复杂层级结构的依赖。
• 通过增强深层特征抽象能力而非增加网络深度或宽度，实现基于轻量级主干网络（VGG-16）的强性能表现。
• 设计一种单阶段检测器，通过高效的多尺度特征学习，在高精度与实时推理速度之间实现良好平衡。

提出的方法

• 在高层网络层中引入信息方块和立方体 Inception 模块，以提取多尺度的上下文与语义特征。
• 在 Inception 模块中应用参数共享，以降低计算成本，同时扩大感受野覆盖范围。
• 将深层卷积层的深层特征作为检测头的主要输入，绕过早期层的细节提取过程。
• 整合多框、多尺度和多层级特征融合技术，以提升不同尺寸目标的定位与分类性能。
• 设计一种轻量级框架，基于 VGG-16，在四个连续的深层网络层中加入 Inception 模块，以增强特征抽象能力，而不会显著增加模型深度或宽度。
• 采用端到端训练方式，基于单阶段检测框架，直接从深层特征图回归边界框和类别得分。

实验结果

研究问题

• RQ1 来自高层网络层的深层特征是否能显著提升目标检测性能，尤其是在小目标和遮挡目标上？
• RQ2 聚焦于深层网络的特征学习是否能在保持或提升检测精度的同时，降低计算成本，相较于更深或更宽的网络？
• RQ3 在深层网络中使用多尺度 Inception 模块是否能有效捕捉目标与其周围环境之间的语义和上下文关系？
• RQ4 在标准基准测试中，MDFN 框架与现有单阶段和两阶段检测器相比，在速度-精度权衡方面表现如何？
• RQ5 是否可以通过增强深层特征学习而非增加模型容量，仅使用相对较小的主干网络（如 VGG-16）实现最先进水平的性能？

主要发现

• 在 KITTI 数据集上，MDFN 达到了最高的平均精度均值（mAP），优于所有对比方法，包括 Faster R-CNN 和 YOLOv3。
• 在 PASCAL VOC 2007 数据集上，MDFN-I2 实现了 88.0% 的 mAP，推理速度达 35 FPS，展现出与同类单阶段检测器相当速度下的领先性能。
• 在 COCO 数据集上，MDFN-I2 在 300×300 输入下实现了 35.1% 的 mAP，推理速度达 58 FPS，表现出优异的精度与高速推理能力。
• 尽管参数量相比基于 VGG-16 的 SSD 增加了 10%，MDFN 在 COCO 和 KITTI 上的推理速度下降不足 4%，FLOPs 增加不足 2%。
• 模型在检测小目标和遮挡目标方面表现出强鲁棒性，KITTI 上的定性结果表明，MDFN 能够正确检测出 SSD 所遗漏的车辆。
• 速度-精度权衡稳定且有利，如图 6 所示，MDFN 与其他模型形成紧密的三角形区域，表明其具备高效率与一致性。