[论文解读] Location-Sensitive Visual Recognition with Cross-IOU Loss

Kaiwen Duan, Lingxi Xie+4 more|arXiv (Cornell University)|Apr 11, 2021

Advanced Neural Network Applications被引用 27

一句话总结

这篇论文介绍了 LSNet，一种统一的无锚点框架，用于定位敏感的视觉识别（对象检测、实例分割和姿态估计），它通过预测一个锚点以及一组关键点并使用一种新颖的 cross-IOU 损失来处理多尺度对象。它在 MS-COCO 上达到最先进的无锚点结果，并展示出对轮廓基础分割和姿态估计的强性能。

ABSTRACT

Object detection, instance segmentation, and pose estimation are popular visual recognition tasks which require localizing the object by internal or boundary landmarks. This paper summarizes these tasks as location-sensitive visual recognition and proposes a unified solution named location-sensitive network (LSNet). Based on a deep neural network as the backbone, LSNet predicts an anchor point and a set of landmarks which together define the shape of the target object. The key to optimizing the LSNet lies in the ability of fitting various scales, for which we design a novel loss function named cross-IOU loss that computes the cross-IOU of each anchor point-landmark pair to approximate the global IOU between the prediction and ground-truth. The flexibly located and accurately predicted landmarks also enable LSNet to incorporate richer contextual information for visual recognition. Evaluated on the MS-COCO dataset, LSNet set the new state-of-the-art accuracy for anchor-free object detection (a 53.5% box AP) and instance segmentation (a 40.2% mask AP), and shows promising performance in detecting multi-scale human poses. Code is available at https://github.com/Duankaiwen/LSNet

研究动机与目标

• 推动一个统一的定位敏感表述用于检测、分割和姿态估计。
• 开发 LSNet，使用一个锚点和关键点来定义对象几何。
• 设计 cross-IOU 损失，以在全局 IOU 精度与局部关键点对齐之间取得平衡。
• 通过在关键点周围使用 Pyramid Deformable Convolution 来增强特征，以提高识别性能。

提出的方法

• 在骨干特征之上预测一个锚点和 N 个关键点来定义对象几何。
• 使用 cross-IOU 损失通过偏移向量近似全局 IOU 来监督关键点偏移。
• 在预测的关键点周围应用 Pyramid Deformable Convolution（Pyramid-DCN）以提取判别特征。
• 采用两阶段流程进行训练：锚点 + 关键点，然后利用基于 DCN 的特征进行分类和定位的细化。
• 通过 FPN 集成多尺度特征，并使用基于 ATSS 的分配实现稳健定位。

实验结果

研究问题

• RQ1 通过预测一个锚点和关键点，统一的无锚点框架是否能够同时处理对象检测、实例分割和姿态估计？
• RQ2 cross-IOU 损失是否为多尺度、形状各异的对象提供鲁棒的监督？
• RQ3 基于关键点的特征和 Pyramid-DCN 是否提升跨任务的定位和识别？
• RQ4 在 MS-COCO 上，LSNet 相对于最先进的无锚点方法和轮廓基方法的表现如何？
• RQ5 LSNet 是否能够在不使用热力图的情况下实现有效的多尺度姿态估计？

主要发现

• 在使用更强的骨干网络和多尺度测试时，LSNet 在 MS-COCO 的无锚点对象检测方面达到与最先进方法相竞争的结果，且盒子 AP 很高。
• 在 COCO 上，LSNet 在轮廓基础的实例分割方面实现了最先进的性能，单尺度和多尺度测试皆有优异表现。
• Cross-IOU 损失在极端边界框回归方面相较于 smooth-L1 和非 IOU 变体提供了更好的性能，并支持基于关键点的监督。
• 包括极点在内的关键点特征，以及 Pyramid-DCN 特征提升检测的精度和定位。
• LSNet 在没有热力图的情况下通过回归实现具有竞争力的姿态估计结果，并能很好地扩展到多尺度的人体姿态。