[论文解读] Exploring Multi-Branch and High-Level Semantic Networks for Improving Pedestrian Detection

Jiale Cao, Yanwei Pang+1 more|arXiv (Cornell University)|Apr 3, 2018

Video Surveillance and Tracking Methods参考文献 58被引用 6

一句话总结

该论文提出了一种多分支高阶语义网络（MHN），通过将基础CNN分割为具有相同深度的并行分支，以提升行人检测性能，确保特征图间语义层级的一致性。通过利用不同感受野和跳跃连接，MHN增强了多尺度检测能力，尤其提升了对小尺寸行人的检测效果，同时保持了参数效率；在KITTI、Caltech、Citypersons和COCO基准上实现了最先进性能。

ABSTRACT

To better detect pedestrians of various scales, deep multi-scale methods usually detect pedestrians of different scales by different in-network layers. However, the semantic levels of features from different layers are usually inconsistent. In this paper, we propose a multi-branch and high-level semantic network by gradually splitting a base network into multiple different branches. As a result, the different branches have the same depth and the output features of different branches have similarly high-level semantics. Due to the difference of receptive fields, the different branches are suitable to detect pedestrians of different scales. Meanwhile, the multi-branch network does not introduce additional parameters by sharing convolutional weights of different branches. To further improve detection performance, skip-layer connections among different branches are used to add context to the branch of relatively small receptive filed, and dilated convolution is incorporated into part branches to enlarge the resolutions of output feature maps. When they are embedded into Faster RCNN architecture, the weighted scores of proposal generation network and proposal classification network are further proposed. Experiments on KITTI dataset, Caltech pedestrian dataset, and Citypersons dataset demonstrate the effectiveness of proposed method. On these pedestrian datasets, the proposed method achieves state-of-the-art detection performance. Moreover, experiments on COCO benchmark show the proposed method is also suitable for general object detection.

研究动机与目标

• 解决现有特征金字塔网络在行人检测中特征图间语义层级不一致的问题。
• 通过从深层分支引入上下文信息来增强高分辨率特征，从而提升小尺度行人的检测性能。
• 通过在多分支架构中共享卷积权重，保持参数效率。
• 通过在COCO基准上的评估，将方法扩展至通用目标检测。
• 在Faster R-CNN中引入加权分数，以进一步提升检测流程中的候选区域生成与分类性能。

提出的方法

• 在池化层之前逐步将基础CNN拆分为多个并行分支，确保所有分支具有相同深度，从而实现相似的语义层级。
• 利用分支间不同的感受野来检测不同尺度的行人，其中深层分支具有更大的感受野。
• 通过从低分辨率、大感受野分支到高分辨率、小感受野分支的跳跃连接，注入上下文信息。
• 在部分分支中引入空洞卷积，以保持空间分辨率并增强特征表示。
• 通过在Faster R-CNN中引入RPN和Fast R-CNN分类头的加权分数，将MHN和MHN-D集成到检测框架中。
• 使用detectron框架，按照标准协议在KITTI、Caltech、Citypersons和COCO数据集上进行训练与评估。

实验结果

研究问题

• RQ1 具有相同深度的多分支网络是否能为多尺度行人检测提供更一致的高阶语义特征？
• RQ2 在大感受野分支到小感受野分支之间添加跳跃连接，是否能提升对小尺寸行人的检测效果？
• RQ3 在部分分支中引入空洞卷积，是否能在不增加参数量的前提下提升空间分辨率与检测性能？
• RQ4 所提出的MHN架构是否在行人检测基准上优于现有特征金字塔方法（如FPN和MSCNN）？
• RQ5 MHN框架是否可迁移且在大规模基准（如COCO）上对通用目标检测有效？

主要发现

• 在KITTI数据集上，MHN达到76.58%的平均精度（AP），分别优于FPN（75.42%）和MSCNN（74.83%）1.16和1.75个百分点。
• 在Caltech行人数据集上，MHN达到66.76% AP，分别优于FPN（66.14%）和MSCNN（65.20%）0.62和1.56个百分点。
• 在Citypersons数据集上，MHN达到37.19% AP，分别优于FPN（35.91%）和MSCNN（35.55%）1.28和1.64个百分点。
• 在COCO test-dev上，MHN使用ResNet101主干网络时达到44.1% AP，优于Mask R-CNN（39.8%）4.3个百分点，并在小尺度目标检测上实现5.4%的性能提升。
• MHN-D通过空洞卷积和跳跃连接进一步提升性能，尤其在小尺度目标上，相较于FPN在ResNet101上实现3.38%的AP增益。
• 所提出的Faster R-CNN加权评分机制在ResNet50上进一步提升检测性能1.30% AP，在ResNet101上提升1.79% AP，证明其在端到端检测中的有效性。