[论文解读] Generalizable Pedestrian Detection: The Elephant In The Room

Irtiza Hasan, Shengcai Liao+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Neural Network Applications参考文献 47被引用 7

一句话总结

本文揭示了当前最先进行人检测器在泛化能力方面的严重缺陷，表明在跨数据集评估中，通用目标检测器的表现优于专用检测器。通过利用CrowdHuman和Wider Pedestrian等多样化、网络爬取的数据集进行渐进式预训练，作者在无需领域特定微调的情况下，实现了显著的性能提升——在Caltech和CityPersons数据集上，MR⁻²指标分别提升了3.7%和1.5%，并主张将跨数据集评估作为未来检测器开发的标准。

ABSTRACT

Pedestrian detection is used in many vision based applications ranging from video surveillance to autonomous driving. Despite achieving high performance, it is still largely unknown how well existing detectors generalize to unseen data. This is important because a practical detector should be ready to use in various scenarios in applications. To this end, we conduct a comprehensive study in this paper, using a general principle of direct cross-dataset evaluation. Through this study, we find that existing state-of-the-art pedestrian detectors, though perform quite well when trained and tested on the same dataset, generalize poorly in cross dataset evaluation. We demonstrate that there are two reasons for this trend. Firstly, their designs (e.g. anchor settings) may be biased towards popular benchmarks in the traditional single-dataset training and test pipeline, but as a result largely limit their generalization capability. Secondly, the training source is generally not dense in pedestrians and diverse in scenarios. Under direct cross-dataset evaluation, surprisingly, we find that a general purpose object detector, without pedestrian-tailored adaptation in design, generalizes much better compared to existing state-of-the-art pedestrian detectors. Furthermore, we illustrate that diverse and dense datasets, collected by crawling the web, serve to be an efficient source of pre-training for pedestrian detection. Accordingly, we propose a progressive training pipeline and find that it works well for autonomous-driving oriented pedestrian detection. Consequently, the study conducted in this paper suggests that more emphasis should be put on cross-dataset evaluation for the future design of generalizable pedestrian detectors. Code and models can be accessed at https://github.com/hasanirtiza/Pedestron.

研究动机与目标

• 探究最先进行人检测器为何在未见数据集上泛化能力差。
• 识别导致泛化能力差的根本原因，包括数据集偏差和训练多样性不足。
• 评估在跨数据集评估下，通用目标检测器是否能超越专用行人检测器。
• 提出一种基于多样化、大规模数据集的渐进式训练流程，以提升自动驾驶应用中的泛化能力。

提出的方法

• 使用Caltech、CityPersons、ECP、CrowdHuman和Wider Pedestrian作为基准，开展直接的跨数据集评估。
• 在多个数据集上训练并评估最先进行人检测器和通用目标检测器（如Cascade R-CNN），以评估其泛化能力。
• 由于CrowdHuman和Wider Pedestrian等网络爬取数据集具有更高的行人密度和场景多样性，因此将其用作预训练数据源。
• 实施渐进式训练流程：首先在最大、最远距离的数据集（如Wider Pedestrian）上进行预训练，然后依次在更小、领域更接近的数据集（如ECP、CityPersons、Caltech）上进行微调。
• 在‘合理’子集上应用标准评估指标（MR⁻²），以确保跨数据集的公平比较。
• 在所有模型中使用相同的主干网络（如ResNeXt-101）和训练协议，以确保比较的公平性。

实验结果

研究问题

• RQ1 为何最先进行人检测器在不同行人检测数据集之间泛化能力差？
• RQ2 行人检测器的设计偏差（尤其是锚框设置）如何限制其泛化能力？
• RQ3 当在多样化、大规模数据集上训练时，通用目标检测器是否能超越专用行人检测器？
• RQ4 在多样化、网络爬取的数据集上进行渐进式预训练，能在多大程度上提升自动驾驶导向的行人检测性能？
• RQ5 跨数据集评估是否揭示了当前行人检测评估范式中的根本性缺陷？

主要发现

• 尽管在各自训练数据集上表现优异，最先进行人检测器在跨数据集评估中泛化能力差。
• 当在多样化、大规模数据集上训练且不进行任何行人特定适配时，通用目标检测器（Cascade R-CNN）的表现优于专用行人检测器。
• 网络爬取的数据集（如CrowdHuman和Wider Pedestrian）提供了显著更高的行人密度和场景多样性，从而实现更好的泛化能力。
• 渐进式训练流程在Caltech的‘合理’子集上实现了MR⁻²指标3.7%的相对提升，在CityPersons上实现了1.5%的提升，且无需在目标领域进行任何微调。
• 本研究揭示了当前评估实践倾向于数据集特定优化，因此应在未来检测器开发中优先采用跨数据集评估。