[論文レビュー] Generalizable Pedestrian Detection: The Elephant In The Room

Irtiza Hasan, Shengcai Liao+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Neural Network Applications参考文献 47被引用数 7

ひとこと要約

この論文は、最先端の歩行者検出器における一般化性能の欠如を深刻な欠陥として特定し、一般向けオブジェクト検出器が、クロスデータセット評価において特化型の検出器を上回ることを示している。著者らは、CrowdHuman や Wider Pedestrian といった多様なウェブクロールドデータセットを段階的プリトレーニングに活用することで、ドメイン特化型のファインチューニングなしに顕著な性能向上を達成した—Caltech と CityPersons における MR⁻² でそれぞれ 3.7% および 1.5% の向上—、今後の検出器開発における標準的手法としてクロスデータセット評価を提唱している。

ABSTRACT

Pedestrian detection is used in many vision based applications ranging from video surveillance to autonomous driving. Despite achieving high performance, it is still largely unknown how well existing detectors generalize to unseen data. This is important because a practical detector should be ready to use in various scenarios in applications. To this end, we conduct a comprehensive study in this paper, using a general principle of direct cross-dataset evaluation. Through this study, we find that existing state-of-the-art pedestrian detectors, though perform quite well when trained and tested on the same dataset, generalize poorly in cross dataset evaluation. We demonstrate that there are two reasons for this trend. Firstly, their designs (e.g. anchor settings) may be biased towards popular benchmarks in the traditional single-dataset training and test pipeline, but as a result largely limit their generalization capability. Secondly, the training source is generally not dense in pedestrians and diverse in scenarios. Under direct cross-dataset evaluation, surprisingly, we find that a general purpose object detector, without pedestrian-tailored adaptation in design, generalizes much better compared to existing state-of-the-art pedestrian detectors. Furthermore, we illustrate that diverse and dense datasets, collected by crawling the web, serve to be an efficient source of pre-training for pedestrian detection. Accordingly, we propose a progressive training pipeline and find that it works well for autonomous-driving oriented pedestrian detection. Consequently, the study conducted in this paper suggests that more emphasis should be put on cross-dataset evaluation for the future design of generalizable pedestrian detectors. Code and models can be accessed at https://github.com/hasanirtiza/Pedestron.

研究の動機と目的

• 最先端の歩行者検出器が未学習のデータセットに一般化できない理由を調査すること。
• 一般化性能の低さの根本的要因、特にデータセットバイアスと訓練データの多様性不足を同定すること。
• クロスデータセット評価において、一般目的オブジェクト検出器が特化型の歩行者検出器を上回るかどうかを評価すること。
• 自動運転応用を想定し、多様で大規模なデータセットを用いた段階的トレーニングパイプラインを提案すること。

提案手法

• Caltech、CityPersons、ECP、CrowdHuman、Wider Pedestrian をベンチマークとして、直接的なクロスデータセット評価を実施する。
• 複数のデータセット上で最先端の歩行者検出器および一般オブジェクト検出器（例：Cascade R-CNN）をトレーニングおよび評価し、一般化性能を評価する。
• 歩行者密度が高く、シーンの多様性に富んだため、ウェブクロールドデータセット（CrowdHuman、Wider Pedestrian）をプリトレーニングのソースとして使用する。
• 段階的トレーニングパイプラインを実装する：最大で最も距離の遠いデータセット（例：Wider Pedestrian）でプリトレーニングを行い、その後、より小さな、ドメインに近いデータセット（例：ECP、CityPersons、Caltech）に対して段階的にファインチューニングを行う。
• 公平な比較のため、データセット間で一貫した比較が可能な「合理的」サブセットに対して、標準的な評価指標（MR⁻²）を適用する。
• モデル間の公平な比較を保証するため、同じバックボーン（例：ResNeXt-101）とトレーニングプロトコルを全モデルに適用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の歩行者検出器は、異なる歩行者検出データセット間で一般化に失敗するのか？
• RQ2 歩行者検出器の設計バイアス（特にアンカーセットティング）が、一般化能力にどのように制限をかけるのか？
• RQ3 多様で大規模なデータセットでトレーニングされた場合、一般目的オブジェクト検出器は特化型の歩行者検出器を上回ることができるか？
• RQ4 多様でウェブクロールドのデータセットを用いた段階的プリトレーニングが、自動運転指向の歩行者検出性能にどの程度向上をもたらすか？
• RQ5 クロスデータセット評価は、現在の歩行者検出の評価パラダイムに根本的な欠陥を露呈するか？

主な発見

• 最先端の歩行者検出器は、自身のトレーニングデータセットでは強力な性能を示すが、クロスデータセット評価では一般化性能が著しく低いことが判明した。
• 歩行者に特化した適応なしに、多様で大規模なデータセットでトレーニングされた一般目的オブジェクト検出器（Cascade R-CNN）が、特化型の歩行者検出器を上回った。
• CrowdHuman や Wider Pedestrian といったウェブクロールドデータセットは、顕著に高い歩行者密度とシーンの多様性を有しており、より良い一般化を可能にした。
• 段階的トレーニングパイプラインにより、Caltech の「合理的」サブセットで MR⁻² に 3.7% の相対的向上が達成され、CityPersons では 1.5% の向上が得られたが、いずれのターゲットドメインに対してもファインチューニングは一切施さなかった。
• 本研究は、現在の評価慣行がデータセット特化型の最適化を好む傾向にあり、今後の検出器開発においてクロスデータセット評価を優先すべきであることを明らかにした。