[論文レビュー] Acquisition of Localization Confidence for Accurate Object Detection

Borui Jiang, Ruixuan Luo+3 more|arXiv (Cornell University)|Jul 30, 2018

Advanced Neural Network Applications参考文献 26被引用数 56

ひとこと要約

IoU-Netは検出された各ボックスのローカライズ信頼度（グラウンドトゥルースとのIoU）を予測し、IoUガイド付きNMSと最適化ベースの境界ボックスリファインメントを可能にする。これによりローカライズ精度と既存検出器との互換性が向上する。

ABSTRACT

Modern CNN-based object detectors rely on bounding box regression and non-maximum suppression to localize objects. While the probabilities for class labels naturally reflect classification confidence, localization confidence is absent. This makes properly localized bounding boxes degenerate during iterative regression or even suppressed during NMS. In the paper we propose IoU-Net learning to predict the IoU between each detected bounding box and the matched ground-truth. The network acquires this confidence of localization, which improves the NMS procedure by preserving accurately localized bounding boxes. Furthermore, an optimization-based bounding box refinement method is proposed, where the predicted IoU is formulated as the objective. Extensive experiments on the MS-COCO dataset show the effectiveness of IoU-Net, as well as its compatibility with and adaptivity to several state-of-the-art object detectors.

研究の動機と目的

• 標準的なCNNベース検出器におけるローカライズ信頼度の欠如と、それがNMSおよび境界ボックスリファインメントに与える影響を動機づける。
• 検出ボックスとグラウンドトゥルース間のIoUを予測するIoU-Netを導入する。
• 予測されたIoUを用いたIoUガイド付きNMSと、IoU予測を利用した最適化ベースの境界ボックスリファインメントを開発する。
• MS-COCO上で最新の検出器に対する適合性と改善を実証する。

提案手法

• FPNバックボーンのRoI特徴を用いてIoU(box_det, box_gt)を推定するIoU予測器（IoU-Net）を訓練する。
• IoU勾配計算のために、RoIプーリングをPrecise RoI Poolingに置換し、微分可能で連続的なプーリングを可能にする。
• IoU予測を用いてIoUガイド付きNMSを実行し、ローカライズ信頼度で順位付けし、重なる領域内のクラススコアを集約する。
• IoU予測を目的関数として提供する、Precise RoI Poolingを用いた勾配上昇を用いる最適化ベースの境界ボックスリファインメントを定式化する。
• IoU-Netを既存検出器とエンドツーエンドで共同訓練し、全体のAPを改善する。

実験結果

リサーチクエスチョン

• RQ1 学習されたローカライズ信頼度（IoU）は境界ボックスの選択を改善し、NMSにおける良好に局在したボックスの抑制を減らすことができるか？
• RQ2 IoUガイド付きNMSは、従来のNMSおよびSoft-NMSを横断的に上回るか？
• RQ3 IoU予測に基づく最適化ベースの境界ボックスリファインメントは、単調なローカライズ向上を提供できるか？
• RQ4 IoU-NetはFPN、Cascade R-CNN、Mask R-CNNなどの既存検出器と互換性があり、有益か？
• RQ5 IoU-Netと検出器の共同訓練は測定可能なAPの改善をもたらすか？

主な発見

• IoUガイド付きNMSは、従来のNMSおよびSoft-NMSと比較して、特に高いIoU閾値でのローカライズを向上させる（例：IoU 0.9以上でのAP）。
• IoU予測に導かれた最適化ベースの境界ボックスリファインメントは、回帰ベースの方法を超える追加のAP向上をもたらし、高IoUレベルでの改善も含む。
• IoU-Netを検出器と共同で訓練すると、控えめなAP向上（報告設定で約0.4–0.6pp程度）をもたらし、推論パイプラインの互換性を維持する。
• Precise RoI PoolingはRoI上の連続的で微分可能なプーリングを可能にすることで、微分可能な勾配に基づくリファインメントを可能にする。
• IoU-Netは推論速度への影響を最小限に抑えつつ、複数のバックボーン（例：ResNet-50/101 with FPN）および検出器（FPN、Cascade R-CNN、Mask R-CNN）で測定可能な改善をもたらす。）