[論文レビュー] Adaptive NMS: Refining Pedestrian Detection in a Crowd

Songtao Liu, Di Huang+1 more|arXiv (Cornell University)|Apr 7, 2019

Video Surveillance and Tracking Methods参考文献 50被引用数 24

ひとこと要約

本稿では、歩行者密度に応じて抑制閾値を動的に調整する動的非最大抑制法であるadaptive-NMSを提案する。これにより、混雑した状況における歩行者検出性能が向上する。インスタンスごとの閾値を予測する学習可能なサブネットワークを統合することで、誤検出と見逃しを低減し、CityPersonsでは10.8% MR-2、CrowdHumanでは49.73% MR-2の最先端性能を達成した。

ABSTRACT

Pedestrian detection in a crowd is a very challenging issue. This paper addresses this problem by a novel Non-Maximum Suppression (NMS) algorithm to better refine the bounding boxes given by detectors. The contributions are threefold: (1) we propose adaptive-NMS, which applies a dynamic suppression threshold to an instance, according to the target density; (2) we design an efficient subnetwork to learn density scores, which can be conveniently embedded into both the single-stage and two-stage detectors; and (3) we achieve state of the art results on the CityPersons and CrowdHuman benchmarks.

研究の動機と目的

• 重なりや隠蔽が検出器の性能を低下させる、極めて混雑したシーンにおける歩行者検出の課題に対処すること。
• 固定閾値のグリーディNMSには、重なった歩行者を見逃すか、誤検出を残すという限界があるため、それを克服すること。
• 局所的な歩行者密度に基づいて抑制閾値を動的に調整する、動的NMS機構を設計し、真陽性を保持するとともに偽陽性を抑制すること。
• アーキテクチャの制約なしに、単段階および二段階検出器に統合可能であり、広範な適用性を確保すること。
• 標準評価プロトコルに従って、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 局所的な歩行者密度に基づいてインスタンスごとの抑制閾値を予測する学習可能なサブネットワークを用いた、動的NMSの変種であるadaptive-NMSを提案する。
• 特徴マップを入力として受け取り、各検出候補に対して密度スコアを出力する、軽量な密度推定サブネットワークを訓練する。
• 密度スコアを用いて、各インスタンスごとにNMS閾値を調整する：密度が高いほど閾値が高くなり、重なった真陽性の抑制が軽減される。
• 推論オーバーヘッドを最小限に抑えて、二段階（例：FPNを搭載したFaster R-CNN）および単段階（例：RFB-Net）の検出器にサブネットワークを統合する。
• IoUと学習された密度に基づいて検出スコアを減衰させる、微分可能でソフトな抑制メカニズムを適用し、重なったボックスを硬く削除するのを避ける。
• 標準的な検出損失と微分可能なNMSの近似を用いて、NMS段階を逆伝播可能にすることで、パイプライン全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 固定閾値のNMSと比較して、学習可能な密度適応型NMS機構は、極めて混雑したシーンにおける歩行者検出を改善できるか？
• RQ2 単段階検出器と二段階検出器の両方において、adaptive-NMSは混雑した歩行者検出でどのように性能を発揮するか？
• RQ3 ペアワイズのオーバーラップ（IoU > 0.5）が顕著な状況において、adaptive-NMSは誤検出と見逃しをどの程度低減できるか？
• RQ4 データセット固有のハイパーパrameterチューニングなしに、本手法は多様な群衆密度に一般化可能か？
• RQ5 追加の損失関数やバックボーンの強化なしに、adaptive-NMSはCityPersonsやCrowdHumanといった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• CityPersonsのテストセットでは、miss rateが10.8% MR-2に低下し、最先端の性能を達成した。
• CrowdHumanのバリデーションセットでは、adaptive-NMSが49.73% MR-2を達成し、ベースラインのグリーディNMSおよびソフトNMSを上回った。
• グリーディNMSと比較して、FPNでは2.62% MR-2、RFB Netでは2.19% MR-2の性能向上を示し、一貫した向上が確認された。
• 学習された密度サブネットワークは、局所的な群衆密度を効果的に捉えており、重なった真陽性を保持するための動的閾値調整を可能にした。
• 本手法は二段階および単段階検出器の両方と互換性があり、アーキテクチャの変更なしに一貫した向上を示した。
• 追加の損失項や強力なバックボーンを必要とせず、Repulsion Loss や AggLoss よりも優れた性能を発揮した。