[논문 리뷰] Acquisition of Localization Confidence for Accurate Object Detection

Borui Jiang, Ruixuan Luo외 3명|arXiv (Cornell University)|2018. 07. 30.

Advanced Neural Network Applications참고 문헌 26인용 수 56

한 줄 요약

IoU-Net은 각 탐지된 박스에 대한 로컬라이제이션 신뢰도(IoU with ground-truth)를 예측하여 IoU-guided NMS와 최적화 기반 바운딩 박스 보정으로 로컬라이제이션 정확도와 기존 탐지기와의 호환성을 향상시킵니다.

ABSTRACT

Modern CNN-based object detectors rely on bounding box regression and non-maximum suppression to localize objects. While the probabilities for class labels naturally reflect classification confidence, localization confidence is absent. This makes properly localized bounding boxes degenerate during iterative regression or even suppressed during NMS. In the paper we propose IoU-Net learning to predict the IoU between each detected bounding box and the matched ground-truth. The network acquires this confidence of localization, which improves the NMS procedure by preserving accurately localized bounding boxes. Furthermore, an optimization-based bounding box refinement method is proposed, where the predicted IoU is formulated as the objective. Extensive experiments on the MS-COCO dataset show the effectiveness of IoU-Net, as well as its compatibility with and adaptivity to several state-of-the-art object detectors.

연구 동기 및 목표

• 표준 CNN 기반 탐지기에서 로컬라이제이션 신뢰도 부족과 이것이 NMS 및 바운딩 박스 보정에 미치는 영향을 고찰한다.
• 탐지된 박스와 그라운드 트루스 간의 IoU를 예측하기 위해 IoU-Net을 도입한다.
• 예측된 IoU를 사용하여 IoU-guided NMS와 최적화 기반 바운딩 박스 보정을 개발한다.
• MS-COCO에서 최첨단 탐지기들에 대한 호환성과 개선을 입증한다.

제안 방법

• FPN 백본의 RoI 특징을 사용하여 IoU(box_det, box_gt)를 추정하는 IoU 예측기(IoU-Net)를 학습한다.
• RoI Pooling을 Precise RoI Pooling으로 대체하여 IoU 기울기 계산을 위한 미분 가능하고 연속적인 풀링을 가능하게 한다.
• IoU 예측치를 사용하여 로컬라이제이션 신뢰도에 따라 순위를 매기고 겹침 영역 내에서 클래스 점수를 합산하는 IoU-guided NMS를 수행한다.
• IoU 예측기가 목적함수를 제공하는 최적화 기반 바운딩 박스 보정을 형식화하고 Precise RoI Pooling을 사용한 경사 상승을 적용한다.
• IoU-Net을 기존 탐지기들과 엔드-투-엔드 방식으로 공동 학습하여 전체 AP를 향상시킨다.

실험 결과

연구 질문

• RQ1 학습된 로컬라이제이션 신뢰도(IoU)가 바운딩 박스 선택을 개선하고 NMS에서 잘 로컬라이즈된 박스의 억제를 줄일 수 있는가?
• RQ2 IoU-guided NMS가 탐지기 전체에서 전통적 NMS와 Soft-NMS를 능가하는가?
• RQ3 IoU 예측에 의해 구동되는 최적화 기반 바운딩 박스 보정이 일관된 로컬라이제이션 향상을 제공하는가?
• RQ4 IoU-Net이 FPN, Cascade R-CNN, Mask R-CNN과 같은 기존 탐지기와 호환되며 유익한가?
• RQ5 IoU-Net과 탐지기의 공동 학습이 측정 가능한 AP 개선을 가져오는가?

주요 결과

• IoU-guided NMS는 전통적 NMS 및 Soft-NMS와 비교하여 고 IoU 임계값에서 특히 로컬라이제이션을 개선합니다(예: IoU 0.9 이상에서의 AP).
• IoU 예측에 의해 가이드되는 최적화 기반 바운딩 박스 보정은 회귀 기반 방법을 넘어 추가적인 AP 이득을 제공하며, 높은 IoU 수준에서도 개선을 포함합니다.
• IoU-Net과 탐지기의 공동 학습은 약한 AP 이득(예: 보고된 설정에서 약 0.4–0.6 pps)을 제공하고 추론 파이프라인의 호환성을 유지합니다.
• Precise RoI Pooling은 RoIs에 대해 연속적이고 미분 가능한 풀링을 가능하게 하여 차별화 가능하고 기울기 기반의 보정을 가능하게 합니다.
• IoU-Net은 추론 속도에 큰 부담을 주지 않으면서 여러 백본(예: ResNet-50/101 with FPN) 및 탐지기(FPN, Cascade R-CNN, Mask R-CNN)에서 측정 가능한 개선을 제공합니다.