[논문 리뷰] IoU Loss for 2D/3D Object Detection

Dingfu Zhou, Jin Fang외 5명|arXiv (Cornell University)|2019. 08. 11.

Advanced Neural Network Applications참고 문헌 27인용 수 16

한 줄 요약

이 논문은 2D 및 3D 객체 검출을 위한 통합 가능한 미분 가능 IoU 손실 레이어를 제안하며, 기울기 있는 경계 상자로 일반화되어 IoU를 최적화 목표로 삼는 엔드 투 엔드 훈련을 가능하게 한다. 이는 KITTI 벤치마크에서 여러 최신 3D 검출기에서 일관된 성능 향상을 이끌어내며, 특히 높은 IoU 임계값에서 두드러진다. 이는 훈련 손실과 표준 IoU 평가 지표 간의 일치를 도모한다.

ABSTRACT

In 2D/3D object detection task, Intersection-over-Union (IoU) has been widely employed as an evaluation metric to evaluate the performance of different detectors in the testing stage. However, during the training stage, the common distance loss (\eg, $L_1$ or $L_2$) is often adopted as the loss function to minimize the discrepancy between the predicted and ground truth Bounding Box (Bbox). To eliminate the performance gap between training and testing, the IoU loss has been introduced for 2D object detection in \cite{yu2016unitbox} and \cite{rezatofighi2019generalized}. Unfortunately, all these approaches only work for axis-aligned 2D Bboxes, which cannot be applied for more general object detection task with rotated Bboxes. To resolve this issue, we investigate the IoU computation for two rotated Bboxes first and then implement a unified framework, IoU loss layer for both 2D and 3D object detection tasks. By integrating the implemented IoU loss into several state-of-the-art 3D object detectors, consistent improvements have been achieved for both bird-eye-view 2D detection and point cloud 3D detection on the public KITTI benchmark.

연구 동기 및 목표

• 2D/3D 객체 검출에서 훈련(일반적으로 L1/L2 손실 사용)과 평가(IoU 지표 사용) 간의 성능 격차를 해소하기 위해.
• 기존 IoU 손실 방법은 축에 맞춰진 경계 상자에만 적용 가능하므로, 기울기 있는 경계 상자와 3D 경계 상자로 확장하기 위해.
• 2D 및 3D 객체 검출 작업에 모두 적용 가능한 통합적이고 프레임워크 독립적인 IoU 손실 레이어를 개발하기 위해.
• 공개된 KITTI 벤치마크를 사용하여 제안된 IoU 손실의 효과성을 검증하기 위해.

제안 방법

• 분석 기하학을 사용하여 두 기울기 있는 2D 경계 상자 간의 교차 및 합집합 면적을 계산함으로써, 기울기 있는 2D 경계 상자에 대한 미분 가능한 IoU 계산을 유도한다.
• 단일 방향 자유도를 가진 3D 경계 상자로 IoU 계산을 확장하면서도, 유지 가능한 미분 가능성을 확보한다.
• 이미 존재하는 검출 프레임워크에 아키텍처 변경 없이 원활하게 통합 가능한 통합 가능한 미분 가능 IoU 손실 레이어를 제안한다.
• 역전파를 활용하여 예측된 경계 상자 매개변수에 대한 IoU 손실의 기울기를 계산함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• KITTI 데이터셋에서 SECOND, PointPillars, Point R-CNN를 포함한 여러 3D 검출기에 IoU 손실을 통합하여 방법을 검증한다.
• 표준 KITTI 3D 검출 벤치마크를 사용하여 평가하며, 다양한 IoU 임계값에서 mAP 및 AP@70을 비교한다.

실험 결과

연구 질문

• RQ1 기울기 있는 2D 및 3D 경계 상자에 대해 미분 가능한 IoU 손실을 정의할 수 있는가? 이는 훈련을 IoU 기반 평가와 일치시킬 수 있는가?
• RQ2 기존 3D 검출기에 제안된 IoU 손실을 통합하면 다양한 검출 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ3 mAP 및 높은 IoU 임계값에서의 성능 측면에서, 제안된 IoU 손실은 L1 손실 및 최근의 다른 손실(GIoU 등)보다 우월한가?
• RQ4 IoU 손실은 일단 검출 및 이중 검출 3D 검출 프레임워크 모두에 일반화될 수 있는가?

주요 결과

• SECOND 검출기의 KITTI 검증 세트에서 mAP가 1.01% 절대적 향상되어 AP@70이 89.16%에 도달하였다.
• KITTI 테스트 세트에서 IoU 손실은 '중간' 카테고리에서 SECOND 베이스라인의 mAP를 0.39% 향상시켰고, '어려움' 카테고리에서는 0.86% 향상시켰다.
• IoU 손실은 PointRCNN 이중 검출기에서 원래의 L1 손실 및 GIoU 손실을 모두 초월하여 검증 세트에서 89.16%의 mAP를 달성하였다.
• 이 방법은 KITTI 벤치마크에서 최고 성능을 기록하였으며, 테스트 세트의 '어려움' 카테고리에서 다중 모odal 융합 및 이중 검출 방법을 뛰어넘었다.
• 향상 효과가 가장 두드러진 부분은 높은 IoU 임계값에서 나타나, 더 높은 국소화 정확도를 의미한다.