[论文解读] Efficient Coarse-to-Fine Non-Local Module for the Detection of Small Objects

Hila Levi, Shimon Ullman|arXiv (Cornell University)|Nov 29, 2018

Advanced Neural Network Applications参考文献 61被引用 8

一句话总结

本文提出了一种高效的自粗到精非局部模块，沿目标检测网络的自顶向下路径集成，以提升小目标检测性能。通过在逐渐增加的分辨率上应用内存优化的非局部模块，实现了从大到小目标的长程上下文推理，并利用类别重复性，在 COCO 数据集上相较于使用标准非局部模块的 Faster R-CNN 和 Mask R-CNN，小目标检测的 AP 提升了 1–2 个百分点。

ABSTRACT

An image is not just a collection of objects, but rather a graph where each object is related to other objects through spatial and semantic relations. Using relational reasoning modules, such as the non-local module \cite{wang2017non}, can therefore improve object detection. Current schemes apply such dedicated modules either to a specific layer of the bottom-up stream, or between already-detected objects. We show that the relational process can be better modeled in a coarse-to-fine manner and present a novel framework, applying a non-local module sequentially to increasing resolution feature maps along the top-down stream. In this way, information can naturally passed from larger objects to smaller related ones. Applying the module to fine feature maps further allows the information to pass between the small objects themselves, exploiting repetitions of instances of the same class. In practice, due to the expensive memory utilization of the non-local module, it is infeasible to apply the module as currently used to high-resolution feature maps. We redesigned the non local module, improved it in terms of memory and number of operations, allowing it to be placed anywhere along the network. We further incorporated relative spatial information into the module, in a manner that can be incorporated into our efficient implementation. We show the effectiveness of our scheme by improving the results of detecting small objects on COCO by 1-2 AP points over Faster and Mask RCNN and by 1 AP over using non-local module on the bottom-up stream.

研究动机与目标

• 通过建模特征图中的长程空间与语义关系，提升小目标检测性能。
• 解决标准非局部模块在检测网络中高分辨率特征图上应用时带来的高内存与计算成本问题。
• 通过自粗到精的处理策略，实现在小目标之间以及小目标与相关大目标之间的有效关系推理。
• 将相对空间编码集成到内存高效的非局部模块中，以增强特征表示，且不增加计算开销。
• 证明在自顶向下路径中应用非局部模块，而非自底向上，能带来小目标检测性能的更好表现。

提出的方法

• 通过分解注意力计算并使用分组操作，提出一种内存与 FLOPs 更少的高效非局部（ENL）模块。
• 将 ENL 模块沿特征金字塔网络（FPN）的自顶向下路径顺序集成，在每个上采样层之前插入。
• 通过可学习的位置嵌入，在注意力机制中引入相对空间编码，以提升定位精度。
• 在多个尺度（res3, res4, res5）应用 ENL 模块，以实现从高层上下文到细粒度特征的自粗到精推理。
• 使用 ResNet-50 和 FPN 作为标准 Faster R-CNN 和 Mask R-CNN 主干网络，端到端训练，且 ENL 模块内部不使用批归一化。
• 在所有 ENL 模块之间共享一个轻量级注意力头，以保持效率并支持跨尺度特征交互。

实验结果

研究问题

• RQ1 沿自顶向下路径自粗到精地应用非局部模块，能否通过利用长程上下文提升小目标检测性能？
• RQ2 如何降低标准非局部模块的高内存开销，使其适用于低层高分辨率特征图？
• RQ3 在非局部注意力机制中引入相对空间信息，是否能提升小目标与重叠目标的检测性能？
• RQ4 能否通过特征空间中的关系推理，有效利用同一类别的重复实例来提升小目标检测？
• RQ5 在目标检测基准中，通过非局部推理实现的自顶向下调制是否优于自底向上的非局部模块集成？

主要发现

• 与在自底向上路径中使用标准非局部模块的 Faster R-CNN 和 Mask R-CNN 相比，所提出的 ENL 模块在 COCO 上将小目标的 AP 提升了 1–2 个百分点。
• ENL 模块的自粗到精应用使得模型能够基于大目标的存在（例如，岸边的人有助于检测海中的游泳者）来检测小目标。
• 该方法通过非局部注意力机制有效利用重复模式，成功检测到同一类别多个重叠的实例（例如，一群鸟）。
• 在 ENL 模块中集成相对空间编码显著提升了定位精度，尤其在小目标密集分布的场景中表现更优。
• ENL 模块的高效设计使其可部署于低层高分辨率特征图中，且不会带来过高的内存开销，从而实现有效的长程特征聚合。
• 定性结果表明，该模型在低光照条件或高密度目标场景下，能生成更准确、更完整的区域提议与检测结果。