[論文レビュー] Confidence Propagation Cluster: Unleash Full Potential of Object Detectors

Yichun Shen, Wanli Jiang+4 more|arXiv (Cornell University)|Dec 1, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、信念伝播にインspiredされたメッセージ伝達を用いて、同時に重複ボックスを抑制し、真陽性を強化することで、NMSに基づく手法に代わる完全並列化可能な後処理フレームワーク「Confidence Propagation Cluster (CP-Cluster)」を提案する。MS COCO上で評価された結果、再訓練を伴わずに複数の最先端検出器においてmAPを0.3–1.9ポイント向上させた。

ABSTRACT

It has been a long history that most object detection methods obtain objects by using the non-maximum suppression (NMS) and its improved versions like Soft-NMS to remove redundant bounding boxes. We challenge those NMS-based methods from three aspects: 1) The bounding box with highest confidence value may not be the true positive having the biggest overlap with the ground-truth box. 2) Not only suppression is required for redundant boxes, but also confidence enhancement is needed for those true positives. 3) Sorting candidate boxes by confidence values is not necessary so that full parallelism is achievable. In this paper, inspired by belief propagation (BP), we propose the Confidence Propagation Cluster (CP-Cluster) to replace NMS-based methods, which is fully parallelizable as well as better in accuracy. In CP-Cluster, we borrow the message passing mechanism from BP to penalize redundant boxes and enhance true positives simultaneously in an iterative way until convergence. We verified the effectiveness of CP-Cluster by applying it to various mainstream detectors such as FasterRCNN, SSD, FCOS, YOLOv3, YOLOv5, Centernet etc. Experiments on MS COCO show that our plug and play method, without retraining detectors, is able to steadily improve average mAP of all those state-of-the-art models with a clear margin from 0.3 to 1.9 respectively when compared with NMS-based methods.

研究の動機と目的

• NMSに基づく後処理の限界、すなわち信頼度のソートに依存し、重複するバウンディングボックス間の関係を活用できない点を是正すること。
• 信頼度のソートを回避し、真陽性を同時に強化し、重複検出をペナルティ化することで検出精度を向上させる完全並列化可能なNMSの代替手法を開発すること。
• アンカーベースやNMSフリーな設計を採用するすべての主流のオブジェクト検出器と互換性を持つ、即挿し可能な後処理ソリューションを提供すること。
• COCOやインスタンスセグメンテーションモデルを含む多様なアーキテクチャとデータセットにおいて、一貫したmAP向上を示すこと。
• 逐次的なソート処理を排除し、GPUに最適化された反復的メッセージ伝達を可能にすることで、リアルタイム導入を可能にすること。

提案手法

• CP-Clusterは、IoUの閾値に基づいて重なり合うバウンディングボックスのグループごとにグラフを構築する。
• 反復的なメッセージ伝達を実行する：正のメッセージは真陽性ボックスを強化し、負のメッセージは重複するボックスを抑制する。
• メッセージは同じグラフ内の隣接するボックス間でのみ伝達され、各イテレーションで完全な並列性を実現する。
• 信頼度値は、各ボックスが局所的な近隣情報に基づいて自己更新する形で反復的に更新され、収束するまで継続する。
• 信頼度のソートを回避するため、メッセージ伝達のダイナミクスに依存して真陽性が自然に優先順位付けされる。
• APIの整合性を保つために最終的なソートステップをオプションで追加するが、実行時間測定では並列性を損なわないように省略する。

実験結果

リサーチクエスチョン

• RQ1 信念伝播に基づくメッセージ伝達フレームワークは、NMS や Soft-NMS よりもオブジェクト検出精度で優れているか？
• RQ2 NMSを完全並列化可能なクラスタリング手法に置き換えることで、再訓練なしに多様なオブジェクト検出器においてmAPが向上するか？
• RQ3 CP-Clusterはアンカーベースおよびアンカーフリー検出器、特にNMSフリーなモデル（例：CenterNet）に対しても効果を発揮するか？
• RQ4 インスタンスセグメンテーションタスクにおいて、CP-Clusterを後処理ステップとして用いた場合の性能はいかがなっているか？
• RQ5 CPUおよびGPU環境下で、標準NMSやSoft-NMSと比較してCP-Clusterの実行時間効率はどの程度か？

主な発見

• MS COCO上で、FasterRCNN、SSD、FCOS、YOLOv3、YOLOv5、CenterNetの複数の最先端検出器において、再訓練なしにmAPが0.3～1.9ポイント向上した。
• CenterNetでは、maxpooling法に対して1.9ポイントのmAP向上を達成し、Soft-NMSに対しても0.6～1.9ポイントの向上を示した。特にマルチスケールおよびフリップオーグメンテーション設定で顕著な性能向上を示した。
• MaskRCNNを用いたインスタンスセグメンテーションでは、ボックスAPおよびマスクAPの両方を向上させ、軽量モデルにおいてSoft-NMSを上回った。
• GPU実装（2イテレーション）では1.0～1.5msで実行可能であり、torchvisionのNMS（1.4ms）と同等の速度を達成した。これにより、リアルタイム実装の可能性が裏付けられた。
• DLA34、HRNetなどの異なるバックボーンアーキテクチャにおいても一貫した向上を示し、広範な互換性を有していた。
• 信頼度のソートを排除することで完全な並列性を実現し、効率的なGPU加速が可能となり、将来的なCUDAカーネルによる最適化も可能となった。