[论文解读] Crowd Counting and Density Estimation by Trellis Encoder-Decoder Network

Xiaolong Jiang, Zehao Xiao+5 more|arXiv (Cornell University)|Mar 3, 2019

Video Surveillance and Tracking Methods参考文献 49被引用 78

一句话总结

TEDnet 提出了一种格状多路径编码器-解码器，具有密集跳跃连接和组合损失，能够生成高质量密度图和准确的人群计数，在多个基准上实现了最先进的结果。

ABSTRACT

Crowd counting has recently attracted increasing interest in computer vision but remains a challenging problem. In this paper, we propose a trellis encoder-decoder network (TEDnet) for crowd counting, which focuses on generating high-quality density estimation maps. The major contributions are four-fold. First, we develop a new trellis architecture that incorporates multiple decoding paths to hierarchically aggregate features at different encoding stages, which can handle large variations of objects. Second, we design dense skip connections interleaved across paths to facilitate sufficient multi-scale feature fusions and to absorb the supervision information. Third, we propose a new combinatorial loss to enforce local coherence and spatial correlation in density maps. By distributedly imposing this combinatorial loss on intermediate outputs, gradient vanishing can be largely alleviated for better back-propagation and faster convergence. Finally, our TEDnet achieves new state-of-the art performance on four benchmarks, with an improvement up to 14% in terms of MAE.

研究动机与目标

• 通过在遮挡和尺度变化下保持空间精度来实现鲁棒的人群计数。
• 开发一个在提取语义特征的同时保持高分辨率定位的网络。
• 通过多路径融合和分布式监督将密度图质量提升超越基于补丁的方法。
• 通过一种新颖的组合损失解决梯度消失和图像一致性问题。
• 在标准基准数据集上展示最先进的计数准确性和密度图质量。

提出的方法

• 引入多尺度编码器，以少量下采样提取尺度自适应特征。
• 设计一个多路径解码器，沿多个解码路径层次性聚合特征，具有密集跳跃连接。
• 通过添加中间密度图输出及相应损失实现分布式监督。
• 提出由空间抽象损失（SAL）和空间相关性损失（SCL）组成的组合损失，以在密度图中强制局部一致性和空间相关性。
• 在全分辨率密度图上计算损失，以保留定位精度。
• 使用 Adam 对全图片进行端到端训练，固定高斯真实地图，并进行在线数据增强。

实验结果

研究问题

• RQ1 格状多路径编码器-解码器是否可以提升拥挤场景的像素级密度估计？
• RQ2 密集路径间融合是否增强多尺度特征聚合和密度图质量？
• RQ3 分布式监督和组合损失是否改善梯度流动并解决梯度消失？
• RQ4 与以往方法相比，TEDnet 在 MAE/MSE 和密度图质量（PSNR/SSIM）等标准基准上的表现如何？

主要发现

• TEDnet 在四个基准数据集上实现了最先进的性能，相对于之前的方法在 MAE 上有显著改进。
• 具有密集跳跃连接的多路径解码器可提供更好的密度图质量（PSNR/SSIM）和计数准确度。
• 分布式监督减少了梯度消失并加速收敛。
• 组合的 SAL/SCL 损失提升了密度图的一致性和空间相关性，进一步提升了计数性能。
• TEDnet 能从全图生成全分辨率密度图，避免了基于补丁方法常见的边界伪影。
• TEDnet 在保持轻量化参数规模的同时，提供了优越的密度图质量和计数准确性。）