[論文レビュー] Repulsion Loss: Detecting Pedestrians in a Crowd

Xinlong Wang, Tete Xiao+4 more|arXiv (Cornell University)|Nov 21, 2017

Video Surveillance and Tracking Methods参考文献 27被引用数 22

ひとこと要約

本論文は、標的対象への引きつけと周囲の非標的歩行者からの排斥を組み合わせることで、混雑したシーンにおける歩行者検出の精度を向上させる、新しい境界ボックス回帰損失 Repulsion Loss (RepLoss) を提案する。予測が近隣の歩行者に近づくのをペナルティ化することで、RepLoss は局所化精度と遮蔽に対するロバスト性を向上させ、特に遮蔽状況下でも最先端の性能を達成した。CityPersons および Caltech-USA ベンチマークでその有効性が確認された。

ABSTRACT

Detecting individual pedestrians in a crowd remains a challenging problem since the pedestrians often gather together and occlude each other in real-world scenarios. In this paper, we first explore how a state-of-the-art pedestrian detector is harmed by crowd occlusion via experimentation, providing insights into the crowd occlusion problem. Then, we propose a novel bounding box regression loss specifically designed for crowd scenes, termed repulsion loss. This loss is driven by two motivations: the attraction by target, and the repulsion by other surrounding objects. The repulsion term prevents the proposal from shifting to surrounding objects thus leading to more crowd-robust localization. Our detector trained by repulsion loss outperforms all the state-of-the-art methods with a significant improvement in occlusion cases.

研究の動機と目的

• 混雑した歩行者シーンにおける検出失敗の根本的原因、特に遮蔽に起因する要因を解明すること。
• 局所化の過程で周囲の物体を無視する標準的な回帰損失の限界を是正すること。
• 非標的歩行者からの排斥を組み込むことで、クラス内遮蔽に対する検出器のロバスト性を向上させる損失関数の設計。
• 標準的な検出器が隣接するボックスのずれや NMS の抑制によって失敗するような、極めて混雑した状況下での局所化精度の向上。
• 提案された損失の一般化可能性を、歩行者検出を越えて一般的な物体検出タスクに対しても検証すること。

提案手法

• 標的対象への引きつけと非標的歩行者からの排斥を組み合わせた二重構成の損失である Repulsion Loss (RepLoss) を提案する。
• RepGT Loss を定義し、予測ボックスが非標的歩行者と重複する場合（IoU を用いて測定）にペナルティを与える。
• RepBox Loss を定義し、異なる標的の予測ボックス同士の間で排斥を適用することで、NMS への感受性を低減する。
• エンドツーエンド学習が可能な標準的な Faster R-CNN 形式の検出器に RepLoss を統合する。
• 吸引と排斥の両方を IoU を用いた距離指標で測定することで、回帰における空間的一致性を確保する。
• CityPersons および Caltech-USA データセットで学習を行い、遮蔽下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 群衆による遮蔽は、最先端の歩行者検出器の性能をどのように特定的に劣化させるのか？
• RQ2 分類精度が良好な状況下でも、なぜ標準的な境界ボックス回帰損失は混雑したシーンで失敗するのか？
• RQ3 非標的歩行者からの排斥を導入することで、遮蔽状況下での局所化のロバスト性が向上するか？
• RQ4 RepLoss は、混雑したシーンにおける NMS に起因する誤検出と見逃しをどのように低減するか？
• RQ5 排斥メカニズムは、歩行者検出を越えて他の物体検出タスクにも一般化可能か？

主な発見

• CityPersons の検証セットでは、48.8% の歩行者が他の歩行者と IoU > 0.1 を示し、26.4% が IoU > 0.3 を示しており、深刻な遮蔽が確認された。
• 提案された RepLoss は、隣接する歩行者にボックスがずれるのを防ぐことで、混雑したシーンにおける誤検出と見逃しを顕著に低減した。
• RepLoss を用いて学習した検出器は、CityPersons および Caltech-USA ベンチマークの両方で最先端の性能を達成した。
• RepLoss は特に遮蔽状況下での検出精度を向上させ、クラス内遮蔽の処理における有効性を示した。
• PASCAL VOC での実験から、RepLoss は歩行者検出に限らず、一般的な物体検出タスクに対しても効果を示した。
• RepBox Loss は、異なる標的の予測ボックスが空間的に分離されるようにすることで、NMS への感受性を低減した。