[论文解读] M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network

Qijie Zhao, Tao Sheng+5 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 30被引用 13

一句话总结

M2Det 提出多级特征金字塔网络（MLFPN），一种新颖的特征金字塔构建方法，通过融合多级主干网络特征，并交替使用瘦身U形模块与特征融合模块，生成用于目标检测的深层多尺度特征。通过在每个尺度上聚合多个层级的特征，M2Det 在 MS-COCO 上实现了 44.2 的 SOTA AP，采用多尺度推理，优于现有的单阶段检测器。

ABSTRACT

Feature pyramids are widely exploited by both the state-of-the-art one-stage object detectors (e.g., DSSD, RetinaNet, RefineDet) and the two-stage object detectors (e.g., Mask R-CNN, DetNet) to alleviate the problem arising from scale variation across object instances. Although these object detectors with feature pyramids achieve encouraging results, they have some limitations due to that they only simply construct the feature pyramid according to the inherent multi-scale, pyramidal architecture of the backbones which are actually designed for object classification task. Newly, in this work, we present a method called Multi-Level Feature Pyramid Network (MLFPN) to construct more effective feature pyramids for detecting objects of different scales. First, we fuse multi-level features (i.e. multiple layers) extracted by backbone as the base feature. Second, we feed the base feature into a block of alternating joint Thinned U-shape Modules and Feature Fusion Modules and exploit the decoder layers of each u-shape module as the features for detecting objects. Finally, we gather up the decoder layers with equivalent scales (sizes) to develop a feature pyramid for object detection, in which every feature map consists of the layers (features) from multiple levels. To evaluate the effectiveness of the proposed MLFPN, we design and train a powerful end-to-end one-stage object detector we call M2Det by integrating it into the architecture of SSD, which gets better detection performance than state-of-the-art one-stage detectors. Specifically, on MS-COCO benchmark, M2Det achieves AP of 41.0 at speed of 11.8 FPS with single-scale inference strategy and AP of 44.2 with multi-scale inference strategy, which is the new state-of-the-art results among one-stage detectors. The code will be made available on \url{https://github.com/qijiezhao/M2Det.

研究动机与目标

• 为解决现有单阶段检测器依赖于分类优化主干网络的单一层级特征所带来的局限性。
• 通过融合多层级特征，提升对不同尺度和外观复杂度目标的特征表示能力。
• 设计一种特征金字塔，使每个尺度层级均整合来自多个主干网络层的特征，增强检测鲁棒性。
• 开发一种端到端的单阶段检测器，实现更优的速度-精度权衡。

提出的方法

• 使用特征融合模块（FFMv1）融合主干网络的多层级特征，构建基础特征图。
• 将基础特征图通过一系列交替的瘦身U形模块（TUMs）与特征融合模块（FFMv2s）进行处理，以提取深层多尺度特征。
• 将每个 TUM 的解码器层作为多层级多尺度特征，且解码器层之间共享深度。
• 应用尺度级特征聚合模块（SFAM）将不同层级中相同尺度的特征聚合为统一的特征金字塔。
• 将 MLFPN 集成到 SSD 框架中，构建端到端的 M2Det 检测器。
• 采用多尺度与单尺度推理策略，评估速度-精度性能。

实验结果

研究问题

• RQ1 通过多层级、多尺度特征构建的特征金字塔，能否提升对不同尺寸和外观目标的检测精度？
• RQ2 与仅使用单一层级特征相比，融合多个主干网络层级的特征是否能提升表征能力？
• RQ3 通过 TUMs 和 FFMv2s 实现的更深层次、多层级特征提取过程，是否能带来优于浅层或单一层级特征头的检测性能？
• RQ4 在每个检测尺度上整合多层级特征，如何影响对外观复杂度变化的处理能力？
• RQ5 与现有 SOTA 单阶段检测器相比，所提出的 M2Det 在速度-精度权衡方面表现如何？

主要发现

• 在单尺度推理下，M2Det 在 MS-COCO 上实现了 41.0 的新 SOTA AP，推理速度为 11.8 FPS。
• 采用多尺度推理时，M2Det 的 AP 达到 44.2，是 MS-COCO 基准中所有单阶段检测器的最高值。
• 该模型在相同硬件条件下，与 SSD、RefineDet 和 CornerNet 相比，展现出显著更优的速度-精度权衡。
• 可视化结果表明，模型能有效学习适应尺度和外观复杂度变化的特征，且在合适的尺度与层级组合处产生强激活。
• 消融实验验证了 MLFPN 中各组件的有效性，尤其是多层级聚合与深层解码器特征。
• 所提出的 SFAM 模块成功地在每个尺度上跨层级融合特征，提升了对尺寸相近但外观不同的目标的检测鲁棒性。