[論文レビュー] V2F-Net: Explicit Decomposition of Occluded Pedestrian Detection

Mingyang Shang, Dawei Xiang+2 more|arXiv (Cornell University)|Apr 7, 2021

Video Surveillance and Tracking Methods参考文献 44被引用数 5

ひとこと要約

V2F-Net は、視認領域検出と全身推定に明示的にタスクを分解することで、遮蔽された歩行者検出のための新しい2段階パイプラインを提案する。可視領域検出ネットワーク（VDN）と全身推定ネットワーク（FEN）を用い、FPNベースラインと比較して CrowdHuman で 5.85% の AP 向上、CityPersons で 2.24% の MR⁻² 向上を達成し、1段階および2段階検出器において一貫した向上を示した。

ABSTRACT

Occlusion is very challenging in pedestrian detection. In this paper, we propose a simple yet effective method named V2F-Net, which explicitly decomposes occluded pedestrian detection into visible region detection and full body estimation. V2F-Net consists of two sub-networks: Visible region Detection Network (VDN) and Full body Estimation Network (FEN). VDN tries to localize visible regions and FEN estimates full-body box on the basis of the visible box. Moreover, to further improve the estimation of full body, we propose a novel Embedding-based Part-aware Module (EPM). By supervising the visibility for each part, the network is encouraged to extract features with essential part information. We experimentally show the effectiveness of V2F-Net by conducting several experiments on two challenging datasets. V2F-Net achieves 5.85% AP gains on CrowdHuman and 2.24% MR-2 improvements on CityPersons compared to FPN baseline. Besides, the consistent gain on both one-stage and two-stage detector validates the generalizability of our method.

研究の動機と目的

• 全身アノテーションがしばしば不完全または誤解を招く重度の遮蔽下での歩行者検出という、長年の課題に対処すること。
• 全身体ボックス同士の IOU が高いため、NMS による誤った抑制や不正確な回帰に苦しむエンドツーエンドの全身体検出の限界を克服すること。
• 可視領域検出とその後続の全身推定という、明確に区別され、順次処理される2段階の検出プロセスに分解することで、学習を簡素化し、耐障害性を向上させること。
• 各身体部位の可視性を監視する新しいコストフリーな埋め込みベースのパーツ認識モジュール（EPM）を導入し、全身推定の精度を向上させること。
• 1段階および2段階検出器の両方に対して汎用性を示し、遮蔽された歩行者検出の強力で再利用可能なベースラインとして V2F-Net を確立すること。

提案手法

• V2F-Net は2つのサブネットワークから構成される：可視領域を局所化するための可視領域検出ネットワーク（VDN）と、可視ボックスから全身体バウンディングボックスを回帰するための全身推定ネットワーク（FEN）。
• パイプラインは画像を順次処理する：VDN が可視ボックスを検出し、全ボックスではなく可視ボックスに対して NMS を適用し、残存するボックスを FEN に供給して全身推定を実行する。
• 埋め込みベースのパーツ認識モジュール（EPM）を導入し、各身体部位の可視性を監視することで、より良い全身推定を実現するための構造的・割合的ヒントを保持する特徴学習を促進する。
• トレーニングはエンドツーエンドで行われ、VDN と FEN は標準的な検出損失（分類および回帰）を用いて共同最適化されるが、EPM はパーツ単位の可視性監視を追加する。
• 非最大抑制（NMS）は可視ボックスに対してのみ適用され、重複する全身体ボックスの誤った抑制を防ぎ、必要に応じて複数の検出を保持する。
• 本手法は、Faster R-CNN および RetinaNet ベースラインを用いた実証により、1段階および2段階検出器の両方と互換性があることが確認された。

実験結果

リサーチクエスチョン

• RQ1 可視領域検出と全身推定に分解することで、エンドツーエンドの全身体検出と比較して、遮蔽された歩行者検出の性能が向上するか？
• RQ2 中間監視としての可視ボックスを用いることで、全身体回帰の学習難易度が低下し、NMS による誤った抑制が緩和されるか？
• RQ3 各身体部位の可視性を監視するパーツ認識モジュールが、遮蔽下での全身推定の精度を向上させるか？
• RQ4 提案されたパイプラインは、1段階検出器と2段階検出器の両方のアーキテクチャにどの程度汎用性を示すか？
• RQ5 個々のモジュール（VDN, FEN, EPM）は全体の性能向上にどの程度寄与しているのか、それぞれの限界は何か？

主な発見

• V2F-Net は、FPN ベースラインと比較して、CrowdHuman で 5.85% の AP 向上、CityPersons で 2.24% の MR⁻² 向上を達成し、2つの主要な遮蔽歩行者検出ベンチマークで顕著な性能向上を示した。
• 性能向上は、1段階および2段階検出器の両方で一貫しており、V2F-Net パイプラインの汎用性が裏付けられた。
• アブレーションスタディの結果、P-VDN+NMS（完全な可視検出＋NMS）は、CrowdHuman で 95.14% の AP および 17.67% の MR⁻² を達成し、可視ボックスに対する NMS が誤った抑制を顕著に低減していることが示された。
• P-FEN 実験（完全な全身体推定）では、AP の向上はわずか（92.25% 対 91.03%）であったが、MR⁻² は大幅に低下（35.56% から 20.52%）した。これは、VDN が高信頼度で誤検出を出すことが主なボトルネックであることを示唆している。
• EPM モジュールは推論コストを増やさずに性能向上に寄与しており、軽量でトレーニング可能なモジュールとして、全身体推定の特徴表現を強化する。
• 本手法は、CityPersons においても最先端の手法を上回るか同等の性能を示し、96.19% の AP および 10.08% の MR⁻² を達成した。フルバージョンの V2F-Net モデルは、より複雑なベースラインをも凌駆した。