[論文レビュー] PedHunter: Occlusion Robust Pedestrian Detector in Crowded Scenes

Cheng Chi, Shifeng Zhang+4 more|arXiv (Cornell University)|Sep 15, 2019

Video Surveillance and Tracking Methods参考文献 41被引用数 8

ひとこと要約

PedHunterは、頭部マスク予測を用いたマスクガイドドモジュール、陽性サンプルの品質を向上させるきつい分類基準、およびオクルージョンを模擬したデータ拡張を用いて、混雑したシーンにおけるオクルージョンに強い歩行者検出器を提案する。この手法は、推論時のオーバーヘッドなしに、CityPersons、Caltech-USA、CrowdHumanで最先端の性能を達成した。

ABSTRACT

Pedestrian detection in crowded scenes is a challenging problem, because occlusion happens frequently among different pedestrians. In this paper, we propose an effective and efficient detection network to hunt pedestrians in crowd scenes. The proposed method, namely PedHunter, introduces strong occlusion handling ability to existing region-based detection networks without bringing extra computations in the inference stage. Specifically, we design a mask-guided module to leverage the head information to enhance the feature representation learning of the backbone network. Moreover, we develop a strict classification criterion by improving the quality of positive samples during training to eliminate common false positives of pedestrian detection in crowded scenes. Besides, we present an occlusion-simulated data augmentation to enrich the pattern and quantity of occlusion samples to improve the occlusion robustness. As a consequent, we achieve state-of-the-art results on three pedestrian detection datasets including CityPersons, Caltech-USA and CrowdHuman. To facilitate further studies on the occluded pedestrian detection in surveillance scenes, we release a new pedestrian dataset, called SUR-PED, with a total of over 162k high-quality manually labeled instances in 10k images. The proposed dataset, source codes and trained models will be released.

研究の動機と目的

• 混雑したシーンにおけるオクルージョンが性能を著しく低下させるという、長年の課題に対処すること。
• 推論時の計算量を増加させることなく、オクルージョンされた歩行者の検出精度を向上させること。
• 混雑したシーンにおける曖昧な陽性サンプルによって引き起こされる誤検出を低減すること。
• データ拡張を用いて、多様なオクルージョンパターンに対するモデルのロバスト性を向上させること。
• 監視ベースのオクルージョン付き歩行者検出のための新しいベンチマークデータセットを確立すること。

提案手法

• トレーニング時に頭部マスクを予測するマスクガイドドモジュールを導入し、推論に影響を与えずにオクルージョンされた歩行者の特徴表現を向上させる。
• 陽性サンプルの品質を向上させるために、陽性サンプルのIoU閾値を厳しく設定し、ジャマーダムの真値を組み込むきつい分類基準を導入する。
• トレーニング中に、グランドトゥルースボックスにランダムなオクルージョンを適用する、オクルージョンを模擬したデータ拡張技術を採用する。
• この手法は、Faster R-CNNにFPNを組み合わせた領域ベースの検出フレームワークに統合され、マスクガイドドモジュールはトレーニング時のみに動作する。
• 本手法は、CityPersons、Caltech-USA、CrowdHuman、および新しいデータセットSUR-PED上で評価され、162,000以上のラベル付きインスタンスを含む。
• すべてのコンponentsは推論効率を維持するように設計されており、テスト時の追加計算コストを一切発生させない。

実験結果

リサーチクエスチョン

• RQ1 頭部レベルの監視は、混雑したシーンにおけるオクルージョンされた歩行者の特徴の識別能を向上させることができるか？
• RQ2 きついIoU閾値とジャマーダムの真値を用いた陽性サンプルの品質向上は、密集したシーンにおける誤検出を低減するか？
• RQ3 トレーニング時に模擬されたオクルージョンは、実世界のオクルージョンパターンへの一般化を向上させるか？
• RQ4 標準ベンチマークおよび重度のオクルージョンサブセットにおいて、本手法は最先端の検出器と比較して優れているか？
• RQ5 新しい高品質な監視ベースのデータセットは、オクルージョン付き歩行者検出の評価にどのような影響を与えるか？

主な発見

• CityPersonsの検証セットにおいて、PedHunterはMR⁻²を11.0%から8.32%に低減し、前回のSoTAに対して2.68%の改善を達成した。
• Caltech-USAデータセットでは、MR⁻²を2.91%から2.31%に低減し、2番目に良い手法よりも0.60%の改善を達成した。
• CrowdHumanデータセットでは、PedHunterはMR⁻²を39.5%にまで低減し、ベースラインに対して5.7%の改善、前回のSoTAに対して1.6%の改善を達成した。
• CityPersonsの重度のオクルージョンサブセットでは、ベースラインに対してMR⁻²を6.21%低減し、RepLoss や OR-CNN より顕著に優れた性能を示した。
• オクルージョンを模擬したデータ拡張は、CityPersonsでMR⁻²を1.3%低減し、CrowdHumanでは4.1%低減する効果を示した。
• 10,000枚の監視画像に、162,000以上の手動ラベル付きインスタンスを含むSUR-PEDデータセットは、実世界の監視環境におけるオクルージョン付き歩行者検出のための新しいベンチマークを提供した。