[論文レビュー] Beta R-CNN: Looking into Pedestrian Detection from Another Perspective

Zixuan Xu, Banghuai Li+2 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Neural Network Applications参考文献 18被引用数 23

ひとこと要約

この論文は、歩行者をモデル化するための2Dベータ分布に基づくBeta Representationと、Beta R-CNN（BetaHeadとBetaMask）およびBetaNMSを提案し、遮蔽・混雑場面での検出を改善する。

ABSTRACT

Recently significant progress has been made in pedestrian detection, but it remains challenging to achieve high performance in occluded and crowded scenes. It could be attributed mostly to the widely used representation of pedestrians, i.e., 2D axis-aligned bounding box, which just describes the approximate location and size of the object. Bounding box models the object as a uniform distribution within the boundary, making pedestrians indistinguishable in occluded and crowded scenes due to much noise. To eliminate the problem, we propose a novel representation based on 2D beta distribution, named Beta Representation. It pictures a pedestrian by explicitly constructing the relationship between full-body and visible boxes, and emphasizes the center of visual mass by assigning different probability values to pixels. As a result, Beta Representation is much better for distinguishing highly-overlapped instances in crowded scenes with a new NMS strategy named BetaNMS. What's more, to fully exploit Beta Representation, a novel pipeline Beta R-CNN equipped with BetaHead and BetaMask is proposed, leading to high detection performance in occluded and crowded scenes.

研究の動機と目的

• 従来の2D境界ボックスを超えた、遮蔽および混雑した場面での歩行者検出を改善する動機づけ。
• フルボディと可視パターンを単一の確率モデルに統合するBeta Representationを提案する。
• Beta Representationを活用してより良いローカリゼーションと識別を実現するBetaHeadとBetaMaskを備えた検出器（Beta R-CNN）を開発する。
• KL発散を用いたBeta分布ベースのNMS（BetaNMS）を導入し、高度に重なるインスタンスを区別する。

提案手法

• 8つの値 [l,t,r,b,alpha_x,beta_x,alpha_y,beta_y] から導出されるFull-bodyとvisible boxesに基づく2Dベータ分布としてBeta Representationを定義する。
• xおよびy方向の平均と分散を計算し、回帰ターゲット [l,t,r,b, mu_x, mu_y, sigma_x, sigma_y] を得るように正規化を行う。
• SmoothL1 lossを用いて8つのベータパラメータ（4つの境界パラメータと4つの形状パラメータ）を回帰するためのBetaHeadを導入する。
• 予測された2Dベータ分布からサンプルされたマスクでRoI特徴を調整して可視領域を強調するBetaMaskを導入し、真のベータマスクに対するKL発散損失で訓練する。
• BetaNMSの距離指標としてKL発散を採用し、対称化KL発散を用いてIoUベースNMSより高重なインスタンスの抑制をより効果的に行う。

実験結果

リサーチクエスチョン

• RQ1 ベータ分布ベースの表現は、従来の境界ボックスよりも遮蔽された高度に重なる歩行者を識別できるだろうか？
• RQ2 BetaHead/BetaMaskは歩行者が遮蔽されている場合や混雑した場面でローカリゼーションと認識を改善するか？
• RQ3 BetaNMSは混雑した歩行者シナリオでIoUベースNMSより効果的か？

主な発見

• Beta Representationは視覚的質量の中心に集中し、可視性の変動を均一なボックスよりもうまく扱い、遮蔽と混雑での識別を助ける。
• BetaHeadとBetaMaskは混雑データセットでMR^-2とAPを改善し、遮蔽および混雑シーンでの利点を実証する。
• KL発散を用いるBetaNMSは高度に重なるインスタンスに対してIoUベースNMSや他の代替手法より優れている。
• 提案されたBeta R-CNNはCrowdHumanとCityPersonsのベンチマークで最先端または競争的な結果を達成し、特に重い遮蔽/サブセットのシーンで優位性を示す。