[論文レビュー] Learning to Separate: Detecting Heavily-Occluded Objects in Urban Scenes

Chenhongyi Yang, Vitaly Ablavsky+3 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Neural Network Applications参考文献 46被引用数 4

ひとこと要約

本論文は、バウンディングボックスの意味的特徴と幾何的特徴を統合的にエンコードするための新しい意味的幾何非最大抑制（SG-NMS）アルゴリズムを提案する。この手法は、都市部の重度な隠蔽状況におけるオブジェクト検出の再検出率を向上させる。SG-Detモデルに統合された本手法は、KITTIおよびCityPersonsデータセットで最先端の性能を達成し、ハード検出レベルで3.84 ppの向上を達成するとともに、最先端の手法と比較して10倍の高速化を実現した。

ABSTRACT

While visual object detection with deep learning has received much attention in the past decade, cases when heavy intra-class occlusions occur have not been studied thoroughly. In this work, we propose a Non-Maximum-Suppression (NMS) algorithm that dramatically improves the detection recall while maintaining high precision in scenes with heavy occlusions. Our NMS algorithm is derived from a novel embedding mechanism, in which the semantic and geometric features of the detected boxes are jointly exploited. The embedding makes it possible to determine whether two heavily-overlapping boxes belong to the same object in the physical world. Our approach is particularly useful for car detection and pedestrian detection in urban scenes where occlusions often happen. We show the effectiveness of our approach by creating a model called SG-Det (short for Semantics and Geometry Detection) and testing SG-Det on two widely-adopted datasets, KITTI and CityPersons for which it achieves state-of-the-art performance.

研究の動機と目的

• 標準のNMSが都市部の重度な隠蔽状況におけるオブジェクト検出で性能を発揮できない問題に対処すること。
• クラス内隠蔽状況下でも精度を損なわず、検出再検出率を向上させること。
• 同じ物体からの重複するボックスと異なる物体からのボックスを区別できる手法を開発すること。
• 意味的および幾何的手がかりを両方捉える新しい埋め込み機構を用いて、検出器のエンドツーエンド学習を可能にすること。
• 重度の隠蔽状況下における自動車および歩行者検出のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• バウンディングボックスの意味的特徴（RoIアライメント特徴から得る）と幾何的特徴（IoU、縦横比、サイズ）を統合的に符号化する意味的幾何埋め込み（SGE）を提案する。
• 同じ物体からのボックスが埋め込み空間で近くなるように、異なる物体からのボックスが分離されるように学習するための、分離損失とグループ損失を組み合わせた新しい損失関数を導入する。
• 各ヘッドに自己注意機構を組み込んだ直列型領域ベースの完全畳み込みネットワーク（Serial R-FCN）を設計し、幾何的特徴と意味的特徴の正確なアライメントを実現し、エンドツーエンド学習を可能にする。
• 同じ物理的物体からの重複検出のみを抑制するように、SGE距離を用いるSG-NMSという非最大抑制の変種を開発する。これにより、隠蔽された物体からの真の陽性を保持する。
• ノイズ感受性と意味的識別力のバランスを取るために、SGE損失に学習可能なしきい値パラメータρを導入し、グリッドサーチにより最適化する。
• Serial R-FCNとSG-NMSを統合し、推論用に統一されたモデルSG-Detを構築する。

実験結果

リサーチクエスチョン

• RQ1 意味的特徴と幾何的特徴を統合した学習済み埋め込みが、異なる隠蔽状態のオブジェクトからの重複するバウンディングボックスを効果的に分離できるか。
• RQ2 SG-NMSは、重度の隠蔽状態におけるオブジェクト検出ベンチマークで、グリーディNMSおよびソフトNMSを上回る再検出率と精度を達成できるか。
• RQ3 提案されたSGEおよびSG-NMSは、検出器とエンドツーエンドで学習可能であり、推論時間の増加を伴わずに検出性能を向上させられるか。
• RQ4 SGE損失のハイパーパrameter ρの選択が、さまざまな隠蔽レベルでの性能に与える影響はどの程度か。
• RQ5 SG-Detは、KITTIおよびCityPersonsにおいて、ハードおよび重度の隠蔽状況設定でどの程度最先端の性能を達成できるか。

主な発見

• KITTIテストセット（中程度の難易度）では95.81%のAPを達成し、リーダーボードで3位となり、4位の手法と比較して3.84 ppの向上を記録した。
• CityPersonsデータセットでは、SG-NMS-Squareが部分的隠蔽状況で10.7%、重度の隠蔽状況で51.1%のミス率を達成し、先行手法を上回った。
• KITTIのハード検出レベルにおいて、4位の手法と比較して再検出率が3.84 pp向上した一方で、0.20秒という高速な推論時間を維持した。
• SGE損失の最適なρ値は0.27であり、この値より低いか高いかでは、ノイズ感受性または意味的識別力の不足により性能が低下する。
• SG-NMS-LinearおよびSG-NMS-Squareは、合理的な難易度レベルでそれぞれ0.2および0.7 ppのミス率低減を達成し、さまざまな隠蔽レベルで一貫した向上効果を示した。
• RRCやSenseKITTIといった上位の手法よりも10倍以上高速であり、高い精度を達成した。