[论文解读] Localization in the Crowd with Topological Constraints

Shahira Abousamra, Minh Hoai+2 more|arXiv (Cornell University)|Dec 23, 2020

Topological and Geometric Data Analysis参考文献 56被引用 9

一句话总结

本文提出 TopoCount，一种基于持久同调的拓扑深度学习方法，用于人群定位。该方法通过新颖的持久性损失，利用持久同调强制实现空间推理，显著减少了密集区域中的误报和漏报。该方法提升了定位精度，并在作为辅助输入时，将最先进的人群计数性能提升了 7%–28%。

ABSTRACT

We address the problem of crowd localization, i.e., the prediction of dots corresponding to people in a crowded scene. Due to various challenges, a localization method is prone to spatial semantic errors, i.e., predicting multiple dots within a same person or collapsing multiple dots in a cluttered region. We propose a topological approach targeting these semantic errors. We introduce a topological constraint that teaches the model to reason about the spatial arrangement of dots. To enforce this constraint, we define a persistence loss based on the theory of persistent homology. The loss compares the topographic landscape of the likelihood map and the topology of the ground truth. Topological reasoning improves the quality of the localization algorithm especially near cluttered regions. On multiple public benchmarks, our method outperforms previous localization methods. Additionally, we demonstrate the potential of our method in improving the performance in the crowd counting task.

研究动机与目标

• 解决人群定位中的空间语义错误，如密集区域的误报和漏报。
• 通过强制预测点排列的拓扑一致性，提升定位质量。
• 利用拓扑推理提升定位和人群计数任务的性能。
• 证明高质量的定位图可显著提升基于密度的计数模型性能。

提出的方法

• 该方法将定位问题建模为预测一个拓扑图，其中连通分量与真实标注点一一对应。
• 提出一种基于持久同调理论的持久性损失，用于比较似然图的地形结构与真实标注的拓扑结构。
• 该损失促进似然图中前 k 个峰值（mode）的显著性，以对应 k 个真实标注点，同时惩罚非前 k 个峰值，确保拓扑结构正确。
• 模型在随机采样的 50×50 或 100×100 大小的图像块上进行训练，具体选择取决于数据集的规模和分辨率。
• 持久性损失与标准的逐像素损失（DICE 和 BCE）结合，使用超参数 λ=1 以实现最佳性能。
• 最终通过将似然图在 0.5 处阈值化，得到二值掩码，该掩码对 k 个真实标注点恰好产生 k 个连通分量。

实验结果

研究问题

• RQ1 拓扑约束能否改善拥挤场景中的定位精度，特别是在密集和杂乱区域？
• RQ2 持久同调能否有效用于定义可微损失，以强制预测点的正确空间排列？
• RQ3 引入拓扑推理是否能减少人群定位中的误报和漏报？
• RQ4 高质量的定位图能否提升最先进基于密度的人群计数模型的性能？

主要发现

• TopoCount 在多个公开基准上优于以往的定位方法，展示了最先进的定位指标精度。
• 消融研究显示，与仅使用 BCE 或 DICE 损失相比，持久性损失能有效降低误差，且在 λ=1 时达到最优性能。
• 对于 ShanghaiTech 和 UCF CC 50 数据集，50×50 的感受野大小为最优；而对于高分辨率、尺度可变的数据集（如 UCF QNRF 和 JHU++），100×100 更为合适。
• 当作为辅助输入使用时，TopoCount 在多个基准上将最先进基于密度的模型计数性能提升了 7% 至 28%。
• 该方法保留了在密度图中丢失的拓扑结构，使关键下游任务中空间排列的恢复成为可能。
• 持久性损失有效促进了似然图中正确的模式结构，即使在具有挑战性的密集区域，也能实现准确且鲁棒的定位。