[论文解读] LLA: Loss-aware Label Assignment for Dense Pedestrian Detection

Zheng Ge, Jianfeng Wang+3 more|arXiv (Cornell University)|Jan 12, 2021

Advanced Neural Network Applications参考文献 39被引用 9

一句话总结

本文提出 LLA（Loss-aware Label Assignment），一种用于密集行人检测的新颖标签分配策略，该策略基于候选框与真实框之间的联合分类损失和回归损失来分配正样本。通过为每个真实框选择联合损失最小的候选框作为正样本，LLA 在不依赖手工设计先验的情况下提升了检测器性能，在使用 RetinaNet 和 FCOS 的 CrowdHuman 和 CityPersons 数据集上分别实现了 9.53% 和 5.47% 的 MR 改进。

ABSTRACT

Label assignment has been widely studied in general object detection because of its great impact on detectors' performance. However, none of these works focus on label assignment in dense pedestrian detection. In this paper, we propose a simple yet effective assigning strategy called Loss-aware Label Assignment (LLA) to boost the performance of pedestrian detectors in crowd scenarios. LLA first calculates classification (cls) and regression (reg) losses between each anchor and ground-truth (GT) pair. A joint loss is then defined as the weighted summation of cls and reg losses as the assigning indicator. Finally, anchors with top K minimum joint losses for a certain GT box are assigned as its positive anchors. Anchors that are not assigned to any GT box are considered negative. Loss-aware label assignment is based on an observation that anchors with lower joint loss usually contain richer semantic information and thus can better represent their corresponding GT boxes. Experiments on CrowdHuman and CityPersons show that such a simple label assigning strategy can boost MR by 9.53% and 5.47% on two famous one-stage detectors - RetinaNet and FCOS, respectively, demonstrating the effectiveness of LLA.

研究动机与目标

• 解决密集行人检测（DPD）中缺乏专用标签分配策略的问题，其中高遮挡和密集物体排列对现有方法构成挑战。
• 指出基于 IoU 或几何中心的传统标签分配在人群场景中失效，原因在于遮挡区域的特征错位。
• 提出一种动态适应模型预测结果的标签分配机制，而非依赖固定的空域或尺度先验。
• 通过将候选框与真实框之间的联合损失最小化作为主要分配标准，提升在密集行人数据集上的检测器性能。

提出的方法

• 在训练过程中，为每个候选框-真实框对计算分类（cls）损失和回归（reg）损失。
• 将联合损失定义为分类损失与回归损失的加权和，以衡量候选框对真实框的表征能力。
• 引入“在框内”约束 $C^{inbox}$，对其中心不落在任何真实框内的候选框施加惩罚，以确保最小的空间一致性。
• 为每个真实框分配联合损失最小的前 $K$ 个候选框作为正样本，其余未分配的候选框标记为负样本。
• 摒弃所有手工设计的先验，如中心或尺度约束（例如 FPN、ATSS、FCOS），使方法完全自适应于模型预测结果。
• 该方法可直接应用于基于锚点（RetinaNet）和无锚点（FCOS）的检测器，无需修改网络结构。

实验结果

研究问题

• RQ1 基于模型预测损失的标签分配策略是否能在密集行人检测中超越传统的 IoU 或中心基标签分配方法？
• RQ2 损失感知分配是否能减少遮挡场景下行人检测中的误分类与误定位错误？
• RQ3 LLA 在不引入额外组件的情况下，能在 CrowdHuman 和 CityPersons 等基准数据集上实现多大程度的性能提升？
• RQ4 LLA 在遮挡鲁棒性方面与 SOTA 标签分配方法（如 ATSS 和 FreeAnchor）相比表现如何？
• RQ5 当不使用基于中心的监督（如 Centerness）时，LLA 是否仍能保持高性能？

主要发现

• 将 LLA 应用于 RetinaNet 时，LLA 在 CrowdHuman 上将平均召回率（MR）提升了 9.53%，优于所有基线标签分配策略。
• 在 FCOS 上，LLA 在 CrowdHuman 上实现了 5.47% 的 MR 改进，表明其在不同检测器架构间具有强大的泛化能力。
• 在 CityPersons 数据集上，LLA 在 Reasonable 子集上将 MR 降低了 2.22%，在 Heavy Occlusion 子集上降低了 3.10%，优于现有方法。
• 即使 ATSS 使用了 Centerness 分支，LLA 仍表现更优；且在无此类辅助监督的情况下，LLA 的优势依然保持。
• 可视化结果表明，LLA 中的正样本在训练过程中会向真实框的前景区域迁移，表明其具有更好的特征对齐能力。
• LLA 在不使用额外组件（如 IoU 分支或 GroupNorm）的情况下达到 SOTA 性能，证明了其通过简洁性实现有效性的优势。