[论文解读] MatrixNets: A New Scale and Aspect Ratio Aware Architecture for Object Detection

Abdullah Rashwan, Rishav Agarwal+2 more|arXiv (Cornell University)|Jan 9, 2020

Advanced Neural Network Applications被引用 5

一句话总结

MatrixNets 通过将特征图组织成矩阵结构，提出了一种新颖的、具备尺度和长宽比感知能力的卷积神经网络架构，其中每个单元负责特定尺寸和长宽比的物体。该设计通过在不同形状和尺寸的物体间实现更均匀的特征表示，提升了检测精度，在 MS COCO 上达到 47.8 mAP，优于 FPN 和 CornerNet 基线模型，且更接近两阶段检测器的性能。

ABSTRACT

We present MatrixNets (xNets), a new deep architecture for object detection. xNets map objects with similar sizes and aspect ratios into many specialized layers, allowing xNets to provide a scale and aspect ratio aware architecture. We leverage xNets to enhance single-stage object detection frameworks. First, we apply xNets on anchor-based object detection, for which we predict object centers and regress the top-left and bottom-right corners. Second, we use MatrixNets for corner-based object detection by predicting top-left and bottom-right corners. Each corner predicts the center location of the object. We also enhance corner-based detection by replacing the embedding layer with center regression. Our final architecture achieves mAP of 47.8 on MS COCO, which is higher than its CornerNet counterpart by +5.6 mAP while also closing the gap between single-stage and two-stage detectors. The code is available at https://github.com/arashwan/matrixnet.

研究动机与目标

• 为解决现有特征金字塔网络（FPNs）在处理不同长宽比物体（尤其是矩形物体）时的局限性。
• 通过设计一种同时依据尺寸和长宽比将物体分配至特征层的主干网络，提升单阶段目标检测性能。
• 利用 MatrixNet 架构同时增强基于锚点和基于角点的检测框架。
• 通过为多样化物体形状提供更优的特征表示，缩小单阶段与两阶段检测器之间的性能差距。
• 证明 MatrixNets 可作为 FPN 的即插即用替代品，适用于多种计算机视觉任务。

提出的方法

• MatrixNets 将特征图组织为矩阵结构，其中对角线层对应 FPN 的层级，非对角线层通过下采样生成，以覆盖多样化的尺寸-长宽比组合。
• 每个矩阵单元负责其尺寸和长宽比落在预定义范围内的物体，确保感受野覆盖的均匀性。
• 该架构在每个矩阵层使用单一输出子网络，使方形卷积核能够跨不同长宽比均衡地聚合信息。
• 在基于锚点的检测中，每个特征图仅使用一个锚点，向无锚点设计靠拢，同时保留对左上角和右下角的回归。
• 在基于角点的检测中，MatrixNets 预测左上角和右下角的关键点热力图，并通过中心回归改进匹配效果，替代了嵌入层。
• 该方法支持灵活的主干网络集成（如 ResNet50-X、ResNet101-X），并允许对基础层范围和训练裁剪尺寸进行超参数调优。

实验结果

研究问题

• RQ1 与标准 FPN 相比，基于矩阵结构的特征层次是否能提升对多样化长宽比物体的检测性能？
• RQ2 基于尺寸和长宽比将物体分配至矩阵层，对单阶段检测器的检测精度有何影响？
• RQ3 MatrixNets 在多大程度上能提升 CornerNet 等基于角点的检测框架？
• RQ4 在 MS COCO 上最大化性能时，基础层范围和训练裁剪尺寸的最佳配置是什么？
• RQ5 MatrixNets 是否能够缩小单阶段与两阶段检测器之间的性能差距？

主要发现

• MatrixNets 在 MS COCO 上达到 47.8 mAP，较 CornerNet 基线模型提升 +5.6 mAP。
• 使用 19 个矩阵层（对比 FPN 的 5 个）使 mAP 从 35.9 提升至 41.0，证明了增加层级粒度的优势。
• 最优基础层范围为 24px–48px，该设置在所有矩阵层中实现了物体分配的平衡并提升了整体性能。
• 更大的训练裁剪尺寸（640×640）优于 512×512，尤其在处理小物体的右下角矩阵层时表现更优。
• 使用 ResNet152-X 的 MatrixNet 在 Corners- $x$ Net 上达到 44.7 mAP，表明其在更深主干网络下具有出色的可扩展性。
• 可视化结果表明，与 FPN 相比，使用 MatrixNet 时矩形物体的边界框更紧凑，表明其在长宽比处理方面更具优势。