[論文レビュー] Visibility Guided NMS: Efficient Boosting of Amodal Object Detection in Crowded Traffic Scenes

Nils Gählert, Niklas Hanselmann+2 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 36被引用数 18

ひとこと要約

本稿では、ピクセルベースの予測とアモーダルなバウンディングボックスの両方の予測を活用することで、混雑した交通シーンにおけるアモーダルオブジェクト検出を向上させる、新しい効率的なNMS変種であるVisibility Guided NMS (vg-NMS) を提案する。ピクセルベースのボックスから得られる可視性の手がかりを用いて抑制をガイドすることで、重度に隠蔽されたオブジェクトの誤っての抑制を低減し、標準NMSに比べて平均で6.2%の実行時間増加で最先端の性能を達成する。

ABSTRACT

Object detection is an important task in environment perception for autonomous driving. Modern 2D object detection frameworks such as Yolo, SSD or Faster R-CNN predict multiple bounding boxes per object that are refined using Non-Maximum-Suppression (NMS) to suppress all but one bounding box. While object detection itself is fully end-to-end learnable and does not require any manual parameter selection, standard NMS is parametrized by an overlap threshold that has to be chosen by hand. In practice, this often leads to an inability of standard NMS strategies to distinguish different objects in crowded scenes in the presence of high mutual occlusion, e.g. for parked cars or crowds of pedestrians. Our novel Visibility Guided NMS (vg-NMS) leverages both pixel-based as well as amodal object detection paradigms and improves the detection performance especially for highly occluded objects with little computational overhead. We evaluate vg-NMS using KITTI, VIPER as well as the Synscapes dataset and show that it outperforms current state-of-the-art NMS.

研究の動機と目的

• 標準NMSが、重度に隠蔽されたアモーダルオブジェクトが高いIoUの重複により誤って抑制される混雑したシーンにおける限界を解消すること。
• 追加のサブネットワークや顕著な計算コストの増加なしに、アモーダルオブジェクト検出の性能を向上させること。
• 可視性に配慮した抑制を用いることで、自律走行のシナリオにおける隠蔽された車両や歩行者のロバストな検出を可能にすること。
• ピクセルベースとアモーダルなバウンディングボックスの同時予測が、一般化性能を向上させ、効果的なNMSのガイドラインを提供することを示すこと。

提案手法

• vg-NMSは、1つのネットワークから得られるピクセルベースとアモーダルなバウンディングボックスの両方の予測を用いて抑制をガイドし、固定のIoU閾値に依存しない。
• 予測領域の可視性に基づいて検出を優先順位付けする可視性に配慮した抑制戦略を適用し、隠蔽状態での誤検出を低減する。
• YOLO、SSD、Faster R-CNNなどの既存のオブジェクト検出器に、可視性に基づくフィルタリングを追加することで、標準NMSを拡張する形でシームレスに統合できる。
• 局所化にはL2損失、分類にはFocal Lossを用いて、両方の検出パラダイムを同時に最適化できるように、エンドツーエンドで学習する。
• ピクセルベースのボックスはアモーダルなボックスよりも重複度が低いため、vg-NMSはSoft NMSにおける候補ペairの数を削減する。
• 本手法は、両方のボックスタイプの標準的なGTアノテーションのみを必要とし、複雑なアーキテクチャの変更や補助ヘッドを避ける。

実験結果

リサーチクエスチョン

• RQ1 ピクセルベースのバウンディングボックスからの可視性の手がかりは、重度に隠蔽されたシーンにおけるNMSの抑制行動を改善できるか？
• RQ2 ピクセルベースとアモーダルなボックスの同時予測は、一般化性能の向上と検出性能の向上に寄与するか？
• RQ3 vg-NMSは、顕著な計算コストの増加なしに、混雑した交通シーンにおいて標準NMSやSoft NMSを上回る性能を示せるか？
• RQ4 二重ボックス予測のマルチタスク学習設定は、単一タスクの検出性能をどの程度向上させるか？
• RQ5 KITTI、VIPER、Synscapesといったベンチマークデータセットにおいて、vg-NMSはmAPと推論速度の観点でどの程度の性能を示すか？

主な発見

• vg-NMSは、評価されたすべてのデータセットで標準NMSおよびSoft NMSを上回り、特にオブジェクト密度が高いVIPERおよびSynscapesで最大の向上が観察された。
• Synscapesデータセットでは、vg-NMSはアモーダル検出の平均適合率（mAP）を86.67%まで達成し、単一タスクベースラインの85.31%を上回った。
• Soft NMSとvg-NMSの組み合わせにより、特に混雑したシーンにおける抑制誤りが顕著に低減された。
• vg-NMSは標準NMSに比べて平均で6.2%の実行時間増加に留まり、効率的な既存の予測の再利用により、2ms未満のオーバーヘッドに抑えられた。
• ピクセルベースとアモーダル検出のマルチタスク設定により、KITTIでは単一タスクmAPが最大1.2%、Synscapesでは最大1.3%向上し、より良い特徴の一般化が示された。
• 本手法はYOLO、SSD、Faster R-CNNを含むすべての現代的な検出器と互換性があり、既存のパイプラインへのプラグアンドプレイ統合が可能である。