[논문 리뷰] The KFIoU Loss for Rotated Object Detection

Xue Yang, Yue Zhou외 6명|arXiv (Cornell University)|2022. 01. 29.

Advanced Neural Network Applications인용 수 88

한 줄 요약

이 논문은 KFIoU loss를 도입한다. 회전된 객체 탐지를 위한 SkewIoU의 완전 미분 가능 Gaussian-product 기반 근사로서 구현이 쉽고, 2-D 및 3-D 확장을 갖추었으며 항공, 텍스트 및 얼굴 데이터셋 전반에서 강력한 성능을 보여준다.

ABSTRACT

Differing from the well-developed horizontal object detection area whereby the computing-friendly IoU based loss is readily adopted and well fits with the detection metrics. In contrast, rotation detectors often involve a more complicated loss based on SkewIoU which is unfriendly to gradient-based training. In this paper, we propose an effective approximate SkewIoU loss based on Gaussian modeling and Gaussian product, which mainly consists of two items. The first term is a scale-insensitive center point loss, which is used to quickly narrow the distance between the center points of the two bounding boxes. In the distance-independent second term, the product of the Gaussian distributions is adopted to inherently mimic the mechanism of SkewIoU by its definition, and show its alignment with the SkewIoU loss at trend-level within a certain distance (i.e. within 9 pixels). This is in contrast to recent Gaussian modeling based rotation detectors e.g. GWD loss and KLD loss that involve a human-specified distribution distance metric which require additional hyperparameter tuning that vary across datasets and detectors. The resulting new loss called KFIoU loss is easier to implement and works better compared with exact SkewIoU loss, thanks to its full differentiability and ability to handle the non-overlapping cases. We further extend our technique to the 3-D case which also suffers from the same issues as 2-D. Extensive results on various public datasets (2-D/3-D, aerial/text/face images) with different base detectors show the effectiveness of our approach.

연구 동기 및 목표

• 회전 SkewIoU 지표와 회귀 손실 간의 불일치를 회전된 객체 탐지에서 동기화하고 해결하는 것을 목표로 한다.
• Gaussian 모델링에 기초한 미분 가능하고 하이퍼파라미터 없는 손실을 제안하여 SkewIoU를 근사한다.
• 2-D에서 3-D 회전 탐지로 접근 방식을 확장하고 다양한 데이터셋과 탐지기에서 검증한다.

제안 방법

• 회전 바운딩 박스를 회전 및 고유값 분해(R, Λ)를 통해 Gaussian 분포로 변환한다.
• Gaussian 간의 중심 거리 축척에 민감하지 않는 중심점 손실을 사용하여 중심 거리를 축소한다.
• 가우시안 분포의 곱을 통해 겹침(overlap)을 계산하고 KFIoU를 겹침 기반의 손실로 정규화하여 도출한다.
• 회귀 손실을 L_reg = L_c + L_kf로 형식화하고 L_kf = exp(1 - KFIoU) - 1로 정의한다.
• 두 가지 중심점 손실 L_c 옵션을 제공한다(표준 L_n 기반 또는 KLD 기반 중심 항).
• 엔드-투-엔드 미분 가능성과 겹치지 않는 경우에 대한 적용 가능성을 유지하며 2-D 및 3-D 확장을 포함한다.

실험 결과

연구 질문

• RQ1 완전하게 미분 가능하고 Gaussian-product 기반의 손실이 하이퍼파라미터 튜닝 없이 회전된 박스에 대해 SkewIoU를 근사할 수 있는가?
• RQ2 제안된 KFIoU 손실이 2-D 및 3-D 작업과 다양한 데이터셋에서 GWD, KLD, 일반 SkewIoU 대비 회전 탐지 성능을 향상시키는가?
• RQ3 다양한 거리 및 종횡비에서 KFIoU와 SkewIoU 간의 추세 수준 정렬이 다른 Gaussian 기반 손실(GWD, KLD)과 비교해 어떠한가?

주요 결과

• KFIoU 손실은 표준 DL 연산으로 쉽게 구현 가능하며 비겹침(non-overlapping) 케이스를 효과적으로 처리한다.
• KFIoU는 SkewIoU와의 추세 수준 정렬에서 GWD 및 KLD보다 더 우수하고 하이퍼파라미터에 대한 민감도를 줄인다.
• 다양한 데이터셋(aerial, scene text, face)과 탐지기에서 KFIoU가 최적으로 조정된 Gaussian 기반 및 일반 SkewIoU 변형보다 성능이 우수하다.
• Gaussian 모델링을 3-D 회전 탐지에 확장하면 KITTI BEV/3-D 지표에서 기준 대비 주목할 만한 개선이 나타난다.