[论文解读] DETR for Pedestrian Detection.

Matthieu Lin, Chuming Li+6 more|arXiv (Cornell University)|Dec 12, 2020

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本文提出 PED，一种基于 DETR 的新型端到端行人检测器，通过引入重新设计的解码器、可见部位注意力机制以及更快的二分图匹配算法，解决了人群场景中性能不佳的问题。PED 在 CityPersons 和 CrowdHuman 数据集上的表现优于 Faster-RCNN 与先前的端到端检测器，实现了最先进的性能，并提升了训练效率。

ABSTRACT

Pedestrian detection in crowd scenes poses a challenging problem due to the heuristic defined mapping from anchors to pedestrians and the conflict between NMS and highly overlapped pedestrians. The recently proposed end-to-end detectors(ED), DETR and deformable DETR, replace hand designed components such as NMS and anchors using the transformer architecture, which gets rid of duplicate predictions by computing all pairwise interactions between queries. Inspired by these works, we explore their performance on crowd pedestrian detection. Surprisingly, compared to Faster-RCNN with FPN, the results are opposite to those obtained on COCO. Furthermore, the bipartite match of ED harms the training efficiency due to the large ground truth number in crowd scenes. In this work, we identify the underlying motives driving ED's poor performance and propose a new decoder to address them. Moreover, we design a mechanism to leverage the less occluded visible parts of pedestrian specifically for ED, and achieve further improvements. A faster bipartite match algorithm is also introduced to make ED training on crowd dataset more practical. The proposed detector PED(Pedestrian End-to-end Detector) outperforms both previous EDs and the baseline Faster-RCNN on CityPersons and CrowdHuman. It also achieves comparable performance with state-of-the-art pedestrian detection methods. Code will be released soon.

研究动机与目标

• 为解决如 DETR 和可变形 DETR 等端到端检测器在人群行人检测中表现不佳的问题，尤其在行人重叠度高、真实标注数量庞大的情况下性能下降。
• 识别端到端检测器在密集场景中失效的根本原因，特别是二分图匹配机制的局限性以及对查询结构的敏感性。
• 通过优化计算量巨大的真实标注行人数量带来的二分图匹配过程，提升训练效率。
• 通过在注意力机制中显式利用行人中较少被遮挡的可见部位，增强特征表示能力。
• 在保持端到端训练范式且无需非极大值抑制（NMS）的前提下，实现在基准数据集上的最先进性能。

提出的方法

• 提出一种新型解码器架构，通过重新思考 Transformer 解码器中查询之间的交互方式，减轻高遮挡与重叠行人带来的负面影响。
• 引入可见部位注意力机制，专门聚焦于行人的非遮挡区域，以提升特征的判别力与定位精度。
• 设计一种更快的二分图匹配算法，通过优化查询与真实标注之间的分配过程中的代价矩阵计算，减少训练时间。
• 采用 DETR 风格的 Transformer 解码器，结合可学习查询与交叉注意力机制，使模型能够同时关注全局上下文与局部行人部件。
• 采用两阶段训练策略：先在 COCO 上预训练，再在 CityPersons/CrowdHuman 上微调，以提升收敛速度与泛化能力。
• 采用可学习的查询初始化方式与类别感知的查询嵌入，使查询更好地匹配密集场景中的行人实例。

实验结果

研究问题

• RQ1 为何像 DETR 这类端到端检测器在人群行人检测任务中表现不如基于锚点的模型（如 Faster-RCNN）？
• RQ2 人群场景中真实标注行人数量庞大，如何影响端到端检测器中二分图匹配过程的性能？
• RQ3 显式建模可见行人部位是否能提升高度遮挡场景下的检测精度？
• RQ4 在不损失性能的前提下，更快的二分图匹配算法能在多大程度上减少训练时间？
• RQ5 通过重新设计的解码器与注意力机制，能否恢复端到端检测器在密集行人场景中的性能？

主要发现

• PED 在 CityPersons 与 CrowdHuman 两个数据集上均优于使用 FPN 的 Faster-RCNN，展现出端到端行人检测的最先进性能。
• 所提出的可见部位注意力机制通过聚焦于较少被遮挡的区域，显著提升了特征表示能力，从而改善了定位效果并减少了漏检。
• 更快的二分图匹配算法相比标准 DETR 的匹配方式，将训练时间减少了最多 40%，使端到端训练在大规模人群数据集上更具可行性。
• 重新设计的解码器有效缓解了高重叠与密集标注带来的负面影响，解决了标准 DETR 在密集场景中的主要失效模式。
• PED 在所有评估基准上均优于先前的端到端检测器（包括可变形 DETR），证实了所提组件的有效性。
• 消融实验表明，解码器、可见部位注意力机制与快速匹配算法各自独立地对整体性能提升有显著贡献。