[논문 리뷰] 3D IoU-Net: IoU Guided 3D Object Detector for Point Clouds

Jiale Li, Shujie Luo외 5명|arXiv (Cornell University)|2020. 04. 10.

Advanced Neural Network Applications참고 문헌 41인용 수 31

한 줄 요약

3D IoU-Net 도입: Attentive Corner Aggregation과 Corner Geometry Encoding으로 IoU 인지 특징을 학습하고 추론 시 IoU 정렬을 통해 제안 신뢰도 향상하는 두 단계 3D 검출기

ABSTRACT

Most existing point cloud based 3D object detectors focus on the tasks of classification and box regression. However, another bottleneck in this area is achieving an accurate detection confidence for the Non-Maximum Suppression (NMS) post-processing. In this paper, we add a 3D IoU prediction branch to the regular classification and regression branches. The predicted IoU is used as the detection confidence for NMS. In order to obtain a more accurate IoU prediction, we propose a 3D IoU-Net with IoU sensitive feature learning and an IoU alignment operation. To obtain a perspective-invariant prediction head, we propose an Attentive Corner Aggregation (ACA) module by aggregating a local point cloud feature from each perspective of eight corners and adaptively weighting the contribution of each perspective with different attentions. We propose a Corner Geometry Encoding (CGE) module for geometry information embedding. To the best of our knowledge, this is the first time geometric embedding information has been introduced in proposal feature learning. These two feature parts are then adaptively fused by a multi-layer perceptron (MLP) network as our IoU sensitive feature. The IoU alignment operation is introduced to resolve the mismatching between the bounding box regression head and IoU prediction, thereby further enhancing the accuracy of IoU prediction. The experimental results on the KITTI car detection benchmark show that 3D IoU-Net with IoU perception achieves state-of-the-art performance.

연구 동기 및 목표

• LiDAR 포인트 클라우드에서 3D 바운딩 박스의 정확한 IoU 기반 신뢰도 필요성에 대한 동기 부여.
• IoU 중심 탐지 프레임워크를 개발하여 분류 기반 신뢰도보다 우수한 성능을 달성.
• 원근으로 인한 부분 가시성에서 IoU 민감한 특징을 학습하는 모듈 도입.
• 추가 학습 없이 훈련-추론 불일치를 해결하기 위한 IoU 정렬 절차를 제안.

제안 방법

• Proposal 생성을 위한 PointNet++ 백본을 이용한 2단계 3D 검출.
• Attentive Corner Aggregation (ACA)은 IoU-민감한 표현을 위해 코너-관점 특징을 관점-채널 주의로 집계.
• Corner Geometry Encoding (CGE)은 절대 코너 기하를 IoU 예측에 주입.
• IoU 정렬: 두 번째 추론에서 refined 박스의 IoU를 재평가하여 정렬된 IoU 스코어를 얻음.
• 세 가지 예측 헤드는 IoU-민감한 특징을 공유: 분류, 바운딩 박스 회귀, IoU 인식.
• 도구적 코너 손실 및 IoU 손실이 IoU 예측기 학습을 안내.

실험 결과

연구 질문

• RQ1 IoU 기반 탐지 신뢰도가 KITTI에서 전통적 분류 신뢰도보다 3D NMS와 전반적인 AP를 개선할 수 있는가?
• RQ2 ACA와 CGE가 IoU 예측을 개선하는 관점-불변의 IoU 특징을 제공하는가?
• RQ3 CGE를 통한 바운딩 박스 기하의 통합이 IoU 인식에 도움이 되는가?
• RQ4 추론 시 IoU 정렬이 추가 학습 없이 IoU 할당 불일치를 완화하는가?

주요 결과

Method	3D AP Easy	3D AP Moderate	3D AP Hard	BEV AP Easy	BEV AP Moderate	BEV AP Hard
3D IoU-Net (Ours)	87.96	79.03	72.78	94.76	88.38	81.93

• 3D IoU-Net이 LiDAR 기반 방법 중 KITTI Car 벤치마크에서 최첨단 3D 탐지 성능을 달성.
• ACA와 CGE로의 IoU-민감한 예측은 분류 신뢰도에 의존하는 베이스라인보다 더 높은 3D AP를 산출.
• 추론 시 IoU 정렬은 추가 학습 없이 IoU 예측 정확도를 더 향상시킴.
• KITTI 테스트 세트에서 3D IoU-Net은 Easy 87.96%, Moderate 79.03%, Hard 72.78%의 3D AP 및 Easy 94.76%, Moderate 88.38%, Hard 81.93%의 BEV AP를 달성.
• 제거 없는 IoU 예측 정렬 및 관점-인식 ACA 특징으로 인한 mAP 향상이 크게 나타남.