[論文レビュー] Confluence: A Robust Non-IoU Alternative to Non-Maxima Suppression in Object Detection

Andrew Shepley, Greg Falzon+1 more|arXiv (Cornell University)|Dec 1, 2020

Advanced Image and Video Retrieval Techniques参考文献 80被引用数 7

ひとこと要約

Confluence は、オブジェクト検出における非最大値抑制（NMS）の代替手段として、重複するバウンディングボックスを特定・抑制するために正規化されたマンハッタン距離に基づく近接度測定法を提案する。MS COCO および CrowdHuman ベンチマークにおいて、最先端の NMS アルゴリズムと比較して、平均精度（AP）を最大 3.8% 向上させ、平均リCALLを最大 7.2% 向上させる。

ABSTRACT

Confluence is a novel non-Intersection over Union (IoU) alternative to Non-Maxima Suppression (NMS) in bounding box post-processing in object detection. It overcomes the inherent limitations of IoU-based NMS variants to provide a more stable, consistent predictor of bounding box clustering by using a normalized Manhattan Distance inspired proximity metric to represent bounding box clustering. Unlike Greedy and Soft NMS, it does not rely solely on classification confidence scores to select optimal bounding boxes, instead selecting the box which is closest to every other box within a given cluster and removing highly confluent neighboring boxes. Confluence is experimentally validated on the MS COCO and CrowdHuman benchmarks, improving Average Precision by up to 2.3-3.8% and Average Recall by up to 5.3-7.2% when compared against de-facto standard and state of the art NMS variants. Quantitative results are supported by extensive qualitative analysis and threshold sensitivity analysis experiments support the conclusion that Confluence is more robust than NMS variants. Confluence represents a paradigm shift in bounding box processing, with potential to replace IoU in bounding box regression processes.

研究の動機と目的

• 高重複度が原因で誤検出が抑制される混雑または隠蔽状態のシーンにおいて、IoU に依存する NMS の限界を解消すること。
• 分類スコアに依存する NMS の問題を克服し、分類スコアと局所化精度の相関が弱い点を改善すること。
• オブジェクト検出の後処理において、最適なバウンディングボックスをより安定的かつ一貫して選択する手法を開発すること。
• 再トレーニングやアーキテクチャ変更が不要な、即挿入可能な NMS の代替手法を提供すること。

提案手法

• Confluence は、バウンディングボックスの境界同士の近接度を正規化されたマンハッタン距離メトリックで測定し、幾何的整合性を捉える。
• クラスタ内の他のボックスすべてに対して最も近い位置にあるボックスを最適代表として選択し、空間的分散を最小化する。
• 重複しているだけでなく、幾何的に整合性がある（共通の境界を共有する）ボックスのみを抑制する。
• 選択に際して IoU やスコアに依存せず、ボックスエッジの空間的整合性を優先する。
• 再トレーニングやアーキテクチャ変更なしに、既存のオブジェクト検出器にスムーズに統合可能である。
• しきい値感度分析により、遮蔽や異なるクラスタリング状態に対してもロバストであることが確認された。

実験結果

リサーチクエスチョン

• RQ1 IoU とは異なるメトリックが、オブジェクト検出における重複ボックスの抑制に優れているか？
• RQ2 分類スコア依存性を幾何的整合性に置き換えることで、局所化精度とリCALLが向上するか？
• RQ3 G-NMS や S-NMS と比較して、Confluence は高遮蔽や高密度オブジェクトクラスタリング状況下でどのように性能を発揮するか？
• RQ4 Confluence は、IoU に依存する NMS のバリエーションよりも、ハイパーパramータのしきい値に頑健か？
• RQ5 リアルワールドの検出パイプラインに再トレーニングやモデル変更なしに導入可能か？

主な発見

• Confluence は、MS COCO および CrowdHuman において、G-NMS や S-NMS と比較して、平均精度（AP）を最大 3.8% 向上させ、平均リCALLを最大 7.2% 向上させた。
• IoU に依存する手法とは異なり、重なりが大きい場合でも幾何的に整合性のあるボックスを保持するため、リCALLが向上した。
• しきい値感度分析により、Confluence は IoU に依存する NMS のバリエーションよりも、ハイパーパramータの変動に対してよりロバストであることが示された。
• 遮蔽状況、例えば混雑したシーンや部分的なオブジェクトオーバーラップ下でも、真陽性を多く保持しつつ、偽陽性を効果的に抑制した。
• IoU がより正確に局所化されたボックスを抑制してしまう NMS の不適切なボックス選択を回避でき、事例によってその有効性が実証された。
• 複数のオブジェクト検出器において優れた性能を示し、広範な互換性と一般化能力を示した。