[논문 리뷰] Confidence Propagation Cluster: Unleash Full Potential of Object Detectors

Yichun Shen, Wanli Jiang외 4명|arXiv (Cornell University)|2021. 12. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 물체 검출에서 NMS 기반 방법을 대체하기 위해 믿음 전파를 모방한 메시지 전파 기반의 완전히 병렬화 가능한 후처리 프레임워크인 Confidence Propagation Cluster (CP-Cluster)를 제안한다. 이는 동시에 중복 박스를 억제하고 참 긍정을 강화한다. MS COCO에서 평가한 결과, 재학습 없이도 여러 최신 기반 검출기에서 mAP를 0.3~1.9 포인트 향상시켰다.

ABSTRACT

It has been a long history that most object detection methods obtain objects by using the non-maximum suppression (NMS) and its improved versions like Soft-NMS to remove redundant bounding boxes. We challenge those NMS-based methods from three aspects: 1) The bounding box with highest confidence value may not be the true positive having the biggest overlap with the ground-truth box. 2) Not only suppression is required for redundant boxes, but also confidence enhancement is needed for those true positives. 3) Sorting candidate boxes by confidence values is not necessary so that full parallelism is achievable. In this paper, inspired by belief propagation (BP), we propose the Confidence Propagation Cluster (CP-Cluster) to replace NMS-based methods, which is fully parallelizable as well as better in accuracy. In CP-Cluster, we borrow the message passing mechanism from BP to penalize redundant boxes and enhance true positives simultaneously in an iterative way until convergence. We verified the effectiveness of CP-Cluster by applying it to various mainstream detectors such as FasterRCNN, SSD, FCOS, YOLOv3, YOLOv5, Centernet etc. Experiments on MS COCO show that our plug and play method, without retraining detectors, is able to steadily improve average mAP of all those state-of-the-art models with a clear margin from 0.3 to 1.9 respectively when compared with NMS-based methods.

연구 동기 및 목표

• NMS 기반 후처리의 한계를 해결하기 위해, 신뢰도 정렬에 의존하고 상호 겹치는 바운딩 박스 간의 관계를 활용하지 못하는 문제를 해결하고자 한다.
• 신뢰도 정렬을 제거하고 참 긍정을 동시에 강화하고 중복 검출을 처벌함으로써 검출 정확도를 향상시키는 완전히 병렬화 가능한 NMS의 대안을 개발하고자 한다.
• 앵커 기반 또는 NMS를 사용하지 않는 설계을 가진 모든 주류 물체 검출기와 호환되는 즉시 사용 가능한 후처리 솔루션을 제공하고자 한다.
• COCO 및 인스턴스 세그멘테이션 모델을 포함한 다양한 아키텍처와 데이터셋에서 일관된 mAP 향상을 입증하고자 한다.
• 순차적 정렬 단계를 제거하고 GPU 최적화된 반복적 메시지 전파를 가능하게 함으로써 실시간 배포를 가능하게 하고자 한다.

제안 방법

• CP-Cluster는 IOU 임계값을 기반으로 겹치는 바운딩 박스 그룹에 대해 그래프를 구축한다.
• 반복적인 메시지 전파를 수행한다: 양성 메시지는 참 긍정 박자를 강화하고, 음성 메시지는 중복된 박자를 억제한다.
• 메시지는 동일한 그래프 내의 이웃 박자들 사이에서만 전파되며, 각 반복에서 완전한 병렬성을 보장한다.
• 신뢰도 값은 수렴할 때까지 반복적으로 업데이트되며, 각 박자는 국소적 이웃 정보에 기반해 자체적으로 업데이트된다.
• 메시지 전파 동역학에 의존함으로써 신뢰도 정렬을 피하고 참 긍정을 자연스럽게 우선순위에 올린다.
• API 호환성을 위해 최종 정렬 단계를 선택적으로 추가하지만, 런타임 측정에서는 병렬성을 유지하기 위해 이를 생략한다.

실험 결과

연구 질문

• RQ1 믿음 전파를 기반으로 한 메시지 전파 프레임워크가 NMS 및 소프트-NMS보다 물체 검출 정확도에서 뛰어나게 되는가?
• RQ2 NMS를 완전히 병렬화 가능한 클러스터링 방법으로 대체함으로써 재학습 없이 다양한 물체 검출기에서 mAP를 향상시킬 수 있는가?
• RQ3 CP-Cluster는 앵커 기반 및 앵커리스 검출기, 특히 NMS를 사용하지 않는 모델인 CenterNet과도 함께 작동하여 성능을 향상시킬 수 있는가?
• RQ4 CP-Cluster를 인스턴스 세그멘테이션 태스크의 후처리 단계로 사용했을 때의 성능은 어떠한가?
• RQ5 CPU 및 GPU 환경에서 표준 NMS 및 소프트-NMS와 비교해 CP-Cluster의 런타임 효율성은 어떠한가?

주요 결과

• MS COCO에서 FasterRCNN, SSD, FCOS, YOLOv3, YOLOv5, CenterNet 등 다양한 최신 기반 검출기에서 재학습 없이도 CP-Cluster가 mAP를 0.3~1.9 포인트 향상시켰다.
• CenterNet에서는 최대풀링보다 1.9포인트, 소프트-NMS보다 0.6~1.9포인트의 mAP 향상을 기록했으며, 특히 다중 스케일 및 플립 증강 환경에서 뛰어난 성능을 보였다.
• MaskRCNN을 사용한 인스턴스 세그멘테이션에서 CP-Cluster는 박자 AP와 마스크 AP 모두를 향상시켰으며, 경량 모델에서는 소프트-NMS를 능가했다.
• GPU 구현체(2회의 반복)는 1.0~1.5ms 내로 실행되어 torchvision의 NMS(1.4ms)와 유사한 실시간 성능을 보이며 실시간 구현 가능성을 입증했다.
• CP-Cluster는 DLA34, HRNet 등의 다양한 백본 아키텍처에서 일관된 성능 향상을 유지하며 광범위한 호환성을 보였다.
• 신뢰도 정렬 단계를 제거함으로써 완전한 병렬성을 확보하여 효율적인 GPU 가속화를 가능하게 하고, 향후 CUDA 커널을 통한 최적화도 가능하게 하였다.