[論文レビュー] NOH-NMS: Improving Pedestrian Detection by Nearby Objects Hallucination

Penghao Zhou, Chong Zhou+5 more|arXiv (Cornell University)|Jul 27, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用数 4

ひとこと要約

本稿では、RoI特徴から近隣の歩行者をモデル化するガウス分布を予測するNearby Objects Hallucinator (NOH) を用いた、歩行者検出のための非最大抑制（NMS）手法であるNOH-NMSを提案する。この手法により、密集領域における抑制の動的緩和が可能となり、CrowdHumanで89.0%のAP、92.9%のリCALL、43.9%のMR-2を達成し、Greedy-NMSに比べてAPが3.9%、リCALLが5.1%、MR-2が0.8%向上する。

ABSTRACT

Greedy-NMS inherently raises a dilemma, where a lower NMS threshold will potentially lead to a lower recall rate and a higher threshold introduces more false positives. This problem is more severe in pedestrian detection because the instance density varies more intensively. However, previous works on NMS don't consider or vaguely consider the factor of the existent of nearby pedestrians. Thus, we propose Nearby Objects Hallucinator (NOH), which pinpoints the objects nearby each proposal with a Gaussian distribution, together with NOH-NMS, which dynamically eases the suppression for the space that might contain other objects with a high likelihood. Compared to Greedy-NMS, our method, as the state-of-the-art, improves by $3.9\%$ AP, $5.1\%$ Recall, and $0.8\%$ $ ext{MR}^{-2}$ on CrowdHuman to $89.0\%$ AP and $92.9\%$ Recall, and $43.9\%$ $ ext{MR}^{-2}$ respectively.

研究の動機と目的

• 高密度な歩行者シーンにおいて、固定されたIoU閾値ではリCALLと誤検出のトレードオフをバランスさせられないGreedy-NMSの根本的ジレンマに対処すること。
• Soft-NMS や Adaptive-NMS などの既存のNMS変種が、近隣の歩行者の空間的コンテキストをモデル化できないという限界を克服すること。
• 近隣の物体の存在確率に基づいて抑制を動的に調整する手法を設計し、混雑した状況での検出性能を向上させること。
• 追加のアノテーションを必要とせず、最小限の計算コストで最先端の歩行者検出性能を達成すること。

提案手法

• Nearby Objects Hallucinator (NOH) は、RoI特徴を用いて、近隣の歩行者の予想位置とサイズをモデル化する4次元ガウス分布を予測する。
• ガウス分布は、近隣の物体の平均（予想位置と形状）と分散（不確実性）を符号化し、空間的推論を可能にする。
• NOH-NMS は、想起されたガウス分布を用いて、他の歩行者が存在する可能性が高いために抑制を動的に弱める。
• 1ステージおよび2ステージの検出器に容易に統合可能で、計算コストはほとんど増加しない。
• ガウス分布のパラメータは特徴から予測され、KL損失を用いる場合、標準偏差σをエンドツーエンドで学習可能であるが、本研究では経験的に設定されている。
• 本手法は2つのハイパーパrameter（密度閾値dtとガウス標準偏差σ）を導入しており、広い範囲で安定した性能を示すことが実証済み。

実験結果

リサーチクエスチョン

• RQ1 近隣の歩行者の空間的分布をモデル化することで、密集した歩行者検出におけるNMS性能が向上するか？
• RQ2 想起された物体分布に基づく動的抑制戦略は、リCALLと誤検出のトレードオフを軽減するか？
• RQ3 密度閾値dtやガウス標準偏差σといったハイパーパrameterの選択に対して、本手法はどれほどロバストか？
• RQ4 追加のアノテーションを必要とせず、全身バウンディングボックスのみで最先端の性能を達成できるか？

主な発見

• NOH-NMS は、CrowdHumanデータセットで89.0%のAP、92.9%のリCALL、43.9%のMR-2を達成し、強力なGreedy-NMSベースラインを3.9%のAP、5.1%のリCALL、0.8%のMR-2向上させた。
• CityPersonsでも10.8%のMR-2を達成し、CrowdHuman以外のデータセットに対しても強い汎化性能を示した。
• ハイパーパrameterの選択に対してロバストである：dt（0.2〜0.5）およびσの広い範囲で性能の変動はわずかである。
• NOH-NMS は、Greedy-NMS よりもIoU閾値Ntの変更に対して敏感さが低く、全リCALLレベルで優れた性能を維持した。
• 定性的な結果から、NOHは近隣の歩行者を適切に想起できており、Greedy-NMS や Adaptive-NMS が見逃した検出を回復できていることが確認された。
• アブレーションスタディの結果、同じ強力なベースライン上で再実装した場合でも、NOH-NMS は常にSoft-NMS や Adaptive-NMS を上回った。