[論文レビュー] Softer-NMS: Rethinking Bounding Box Regression for Accurate Object Detection.

Yihui He, Xiangyu Zhang+2 more|arXiv (Cornell University)|Sep 23, 2018

Advanced Neural Network Applications参考文献 34被引用数 65

ひとこと要約

本論文では、局所化分散と変換を同時に学習することでオブジェクト検出の精度を向上させる、新しいバウンディングボックス回帰損失であるSofter-NMSを提案する。この分散を修正されたNMSで活用することで、VGG-16 Faster R-CNNを用いたMS-COCO上でのAPが23.6%から29.1%に向上し、ResNet-50 FPN Faster R-CNNのAPも36.8%から37.8%に向上し、最小限の計算コストで最先端の局所化微調整を達成した。

ABSTRACT

Non-maximum suppression (NMS) is essential for state-of-the-art object detectors to localize object from a set of candidate locations. However, accurate candidate location sometimes is not associated with a high classification score, which leads to object localization failure during NMS. In this paper, we introduce a novel bounding box regression loss for learning bounding box transformation and localization variance together. The resulting localization variance exhibits a strong connection to localization accuracy, which is then utilized in our new non-maximum suppression method to improve localization accuracy for object detection. On MS-COCO, we boost the AP of VGG-16 faster R-CNN from 23.6% to 29.1% with a single model and nearly no additional computational overhead. More importantly, our method is able to improve the AP of ResNet-50 FPN fast R-CNN from 36.8% to 37.8%, which achieves state-of-the-art bounding box refinement result.

研究の動機と目的

• 高精度なバウンディングボックスが分類スコアが低い場合に非最大抑制（NMS）が失敗する問題に対処すること。
• 局所化分散と検出信頼度の関係をモデル化することで、局所化精度を向上させること。
• 学習した局所化分散を用いて、より正確でない候補をより効果的に抑制する新しいNMSの変種を開発すること。
• 最小限の計算オーバーヘッドで最先端のバウンディングボックス微調整を達成すること。

提案手法

• ボックス変換と局所化分散の両方を最適化する新しいバウンディングボックス回帰損失を導入すること。
• 実際の局所化精度と強く相関する学習可能な成分として局所化分散をモデル化すること。
• 推論時に予測された分散を用いて、NMSにおける抑制意思決定の重み付けを行うこと。
• 標準的なNMS機構を変更し、予測された局所化分散の逆数に基づくIoUベースの抑制を適用すること。
• 新しい損失でエンドツーエンドに学習することで、分類と局所化の両方のロバスト性を向上させること。
• アーキテクチャの変更なしに、Faster R-CNN や FPN を搭載した Faster R-CNN といった標準的な検出器に適用すること。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に局所化分散を学習することで、オブジェクト検出におけるNMSのロバスト性が向上するか？
• RQ2 分類スコアのみに比べて、学習された分散メトリクスが実際の局所化精度とより強く相関するか？
• RQ3 分散に配慮したNMS機構は、推論コストを増加させずに局所化誤差を低減できるか？
• RQ4 標準的なベンチマークにおいて、提案手法は標準NMSと比較してAPおよび局所化精度の点でどのように差がでるか？

主な発見

• Softer-NMSは、追加の計算コストなしに単一モデルでMS-COCO上でのVGG-16 Faster R-CNNのAPを23.6%から29.1%に向上させた。
• 本手法は、ResNet-50 FPN Faster R-CNNにおいて1.0%のAP向上を達成し、36.8%から37.8%に向上させ、バウンディングボックス微調整分野で新たな最先端水準を樹立した。
• 学習された局所化分散は、実際の局所化精度と強く相関しており、NMSにおける抑制意思決定の質を向上させた。
• 最小限の計算オーバーヘッドで改善が達成されたため、実世界の導入において実用的である。