[论文解读] From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer

Haipeng Xiong, Hao Lü+4 more|arXiv (Cornell University)|Aug 15, 2019

Video Surveillance and Tracking Methods参考文献 22被引用 32

一句话总结

S-DCNet 将开放集计数转换为闭集问题，通过在特征图上进行空间划分以求和局部计数，在多个数据集上实现了最先端的结果。

ABSTRACT

Visual counting, a task that predicts the number of objects from an image/video, is an open-set problem by nature, i.e., the number of population can vary in $[0,+\infty)$ in theory. However, the collected images and labeled count values are limited in reality, which means only a small closed set is observed. Existing methods typically model this task in a regression manner, while they are likely to suffer from an unseen scene with counts out of the scope of the closed set. In fact, counting is decomposable. A dense region can always be divided until sub-region counts are within the previously observed closed set. Inspired by this idea, we propose a simple but effective approach, Spatial Divide-and- Conquer Network (S-DCNet). S-DCNet only learns from a closed set but can generalize well to open-set scenarios via S-DC. S-DCNet is also efficient. To avoid repeatedly computing sub-region convolutional features, S-DC is executed on the feature map instead of on the input image. S-DCNet achieves the state-of-the-art performance on three crowd counting datasets (ShanghaiTech, UCF_CC_50 and UCF-QNRF), a vehicle counting dataset (TRANCOS) and a plant counting dataset (MTC). Compared to the previous best methods, S-DCNet brings a 20.2% relative improvement on the ShanghaiTech Part B, 20.9% on the UCF-QNRF, 22.5% on the TRANCOS and 15.1% on the MTC. Code has been made available at: https://github. com/xhp-hust-2018-2011/S-DCNet.

研究动机与目标

• 将计数动机化为开放集问题，并通过利用闭集来应对数据稀缺。
• 提出一种空间分而治之的策略，将计数分解为局部的计数区间预测。
• 开发一个在特征图上执行 S-DC 的卷积神经网络架构，以避免冗余计算。
• 展示闭集学习对跨多样数据集的开放集计数的鲁棒性和泛化能力。

提出的方法

• 采用基于 VGG16 的编码器与类 U-Net 的解码器生成多分辨率特征图。
• 将局部计数离散化为区间，并将计数表述为对这些区间的分类问题。
• 引入分割决策器以生成软分割掩码，并将子区域计数合并为全局图像计数。
• 应用单阶段和多阶段的 S-DC 以迭代地划分特征图并细化局部计数。
• 使用多任务损失进行训练，包括用于多个分类输出的交叉熵损失，以及用于最终分割输出的 L1 损失。

实验结果

研究问题

• RQ1 通过空间分而治之，基于闭集学到的计数模型是否能够泛化到开放集计数？
• RQ2 为了在不过度计算的情况下实现准确的开放集计数，需要多少个分割阶段？
• RQ3 将计数重新表述为区间分类是否比直接回归带来更好的性能？
• RQ4 Cmax 与分区策略对 S-DCNet 性能的影响是什么？
• RQ5 与现有方法相比，S-DCNet 在多样化的计数数据集（人群、车辆、植物）上的表现如何？

主要发现

• S-DCNet 在 ShanghaiTech Part_A 和 Part_B、UCF-QNRF、TRANCOS、以及 MTC 数据集上达到最新的 MAE/MSE。
• 两阶段的 S-DC 就足以实现强大的性能，超过两阶段后增益递减。
• 将局部计数离散化为区间并使用共享分类器，相较直接回归或简单分类提高鲁棒性。
• 由于 S-DC，该在闭集上训练的模型能够有效泛化到超过训练最大值的计数（开放集）。
• S-DCNet 在多个数据集（例如 ShanghaiTech Part_B、UCF-QNRF、TRANCOS、MTC）上相对于现有方法显示出显著的相对提升。