[논문 리뷰] Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation

Zhaohui Zheng, Ping Wang외 5명|arXiv (Cornell University)|2020. 05. 07.

Advanced Neural Network Applications참고 문헌 55인용 수 83

한 줄 요약

본 논문은 Complete-IoU (CIoU) 손실과 Cluster-NMS를 도입하여 Detection 및 Segmentation 모델 전반에서 실시간 추론과 함께 AP와 AR을 향상시킵니다.

ABSTRACT

Deep learning-based object detection and instance segmentation have achieved unprecedented progress. In this paper, we propose Complete-IoU (CIoU) loss and Cluster-NMS for enhancing geometric factors in both bounding box regression and Non-Maximum Suppression (NMS), leading to notable gains of average precision (AP) and average recall (AR), without the sacrifice of inference efficiency. In particular, we consider three geometric factors, i.e., overlap area, normalized central point distance and aspect ratio, which are crucial for measuring bounding box regression in object detection and instance segmentation. The three geometric factors are then incorporated into CIoU loss for better distinguishing difficult regression cases. The training of deep models using CIoU loss results in consistent AP and AR improvements in comparison to widely adopted $\ell_n$-norm loss and IoU-based loss. Furthermore, we propose Cluster-NMS, where NMS during inference is done by implicitly clustering detected boxes and usually requires less iterations. Cluster-NMS is very efficient due to its pure GPU implementation, and geometric factors can be incorporated to improve both AP and AR. In the experiments, CIoU loss and Cluster-NMS have been applied to state-of-the-art instance segmentation (e.g., YOLACT and BlendMask-RT), and object detection (e.g., YOLO v3, SSD and Faster R-CNN) models. Taking YOLACT on MS COCO as an example, our method achieves performance gains as +1.7 AP and +6.2 AR$_{100}$ for object detection, and +0.9 AP and +3.5 AR$_{100}$ for instance segmentation, with 27.1 FPS on one NVIDIA GTX 1080Ti GPU. All the source code and trained models are available at https://github.com/Zzh-tju/CIoU

연구 동기 및 목표

• Detection 및 Segmentation에서 IoU 기반 손실의 바운딩 박스 회귀 한계에 대한 동기를 제시한다.
• 겹침(overlap), 중심 거리(center distance), 종횡비(aspect-ratio) 항을 포함하는 완전한 기하학적 요인 손실(CIoU)을 제안한다.
• 기하학적 요인 결합을 가능하게 하면서 비최대 억제(NMS)를 가속화하는 Cluster-NMS를 개발한다.
• 최신 검출기 및 세그먼터에서 학습 및 추론 이점을 시연한다.
• 정확도 손실 없이 GPU에서 실시간 성능을 보인다.

제안 방법

• CIoU 손실을 1 - IoU에 정규화된 중심 거리와 적응 가중치(alpha)를 갖는 종횡비 항으로 정의한다.
• 세 가지 기하학적 요인 S(겹침), D(거리), V(종횡비)를 척도 불변이고 [0,1]로 정규화되도록 구성한다.
• CIoU를 IoU 및 GIoU 손실과 비교하는 분석과 시뮬레이션을 제공하여 수렴 속도 빨라지고 극단적 경우에서 회귀 성능이 우수함을 보인다.
• 덩어리(cluster)로 상자를 묶고 적은 반복으로 GPU에서 NMS를 수행하는 Cluster-NMS를 도입한다.
• 점수 페널티와 거리 기반 항을 통해 Cluster-NMS에 기하학적 요인을 통합한다(Cluster-NMS_S, Cluster-NMS_S+D, Cluster-NMS_W, Cluster-NMS_W+D).
• CIoU와 Cluster-NMS를 YOLACT, BlendMask-RT, YOLOv3, SSD, Faster R-CNN에 적용하여 이득을 검증한다.

실험 결과

연구 질문

• RQ1 CIoU 손실과 Cluster-NMS가 기존 손실 및 NMS 변형에 비해 바운딩 박스 회귀 및 억제 품질을 향상시키는가?
• RQ2 세 가지 기하학적 요인(겹침 면적, 중심 거리, 종횡비)이 학습 역학 및 수렴에 어떤 영향을 미치는가?
• RQ3 최신 검출기 및 세그먼터에 통합될 때 CIoU와 Cluster-NMS가 추론 속도를 유지하거나 향상시킬 수 있는가?
• RQ4 이 방법들이 객체 탐지와 인스턴스 분할 작업 모두에서 효과적인가?

주요 결과

• CIoU 손실은 L1 노름 및 IoU 기반 손실에 비해 일관되게 AP와 AR을 향상시킨다.
• Cluster-NMS는 실시간 추론을 유지하면서 상당한 AP 및 AR 이익을 제공한다.
• MS COCO의 YOLACT에 적용 시, 객체 탐지에서 +1.7 AP 및 +6.2 AR100, 인스턴스 분할에서 +1.1 AP 및 +3.5 AR100를 달성하고 GTX 1080Ti에서 27.1 FPS를 기록했다.
• 다른 모델(YOLOv3, SSD, Faster R-CNN)에 적용하여 이득을 관찰했다.
• CIoU는 GIoU보다 더 빨리 수렴하고 극단적인 종횡비를 더 잘 처리한다.
• Cluster-NMS는 순수하게 GPU에서 구현 가능하며 더 적은 반복으로 원래 NMS 결과를 재현할 수 있다.