[논문 리뷰] Object as Hotspots: An Anchor-Free 3D Object Detection Approach via Firing of Hotspots

Qi Chen, Lin Sun외 3명|arXiv (Cornell University)|2019. 12. 30.

Advanced Neural Network Applications참고 문헌 53인용 수 22

한 줄 요약

이 논문은 3D 객체 검출을 위한 앵커 기반 방법이 아닌, 점군 내에서 공간적으로 구성된 비어있지 않은 복셀(핫스팟)으로 객체를 모델링하는 오브제クト 어스 히트스포츠(OHS)를 제안한다. 유의미한 핫스팟을 선별하고 4분면 분할을 통해 공간 관계를 인코딩함으로써, 객체 간 점 밀도 불균형 문제를 완화하고 KITTI 및 NuScenes 벤치마크에서 최고 성능을 달성하며, 25 FPS의 추론 속도로 사이클리스트 및 보행자 검출에서 KITTI에서 1위를 기록한다.

ABSTRACT

Accurate 3D object detection in LiDAR based point clouds suffers from the challenges of data sparsity and irregularities. Existing methods strive to organize the points regularly, e.g. voxelize, pass them through a designed 2D/3D neural network, and then define object-level anchors that predict offsets of 3D bounding boxes using collective evidences from all the points on the objects of interest. Contrary to the state-of-the-art anchor-based methods, based on the very nature of data sparsity, we observe that even points on an individual object part are informative about semantic information of the object. We thus argue in this paper for an approach opposite to existing methods using object-level anchors. Inspired by compositional models, which represent an object as parts and their spatial relations, we propose to represent an object as composition of its interior non-empty voxels, termed hotspots, and the spatial relations of hotspots. This gives rise to the representation of Object as Hotspots (OHS). Based on OHS, we further propose an anchor-free detection head with a novel ground truth assignment strategy that deals with inter-object point-sparsity imbalance to prevent the network from biasing towards objects with more points. Experimental results show that our proposed method works remarkably well on objects with a small number of points. Notably, our approach ranked 1st on KITTI 3D Detection Benchmark for cyclist and pedestrian detection, and achieved state-of-the-art performance on NuScenes 3D Detection Benchmark.

연구 동기 및 목표

• LiDAR 점군에서의 데이터 희소성과 비정규성을 해결하기 위한 3D 객체 검출 도전 과제에 대응한다.
• 크기, 거리, 가림, 반사율 등으로 인해 발생하는 객체 간 점 희소성 불균형으로 인해 기존 앵커 기반 방법이 더 많은 점을 가진 객체에 편향되는 문제를 해결한다.
• 정확한 국소화를 위해 구분 가능한 부분과 그들의 공간적 구성 방식을 포괄하는 새로운 객체 표현 방식을 개발한다.
• 다양한 점 밀도를 가진 객체 간에 양성 샘플을 균형 있게 유지할 수 있는 고유한 핫스팟 할당 전략을 갖춘 앵커 기반 검출 헤드를 설계한다.
• 앵커 없이도 척도 변동성을 해결함으로써 앵커 기반 검출의 회귀 안정성을 향상시킨다.

제안 방법

• 유의미한 잠재력을 가진 복셀(핫스팟)로 구성된 비어있지 않은 내부 복셀을 객체로 표현하여 중복을 줄인다.
• 모든 점이 아니라 핫스팟에 진짜 레이블을 할당하며, 점 수가 다른 객체들 간에 양성 예측을 균형 있게 유지하는 새로운 핫스팟 할당 전략을 사용한다.
• 4분면(4분면)을 이용한 분할을 통해 핫스팟 간 공간 관계를 인코딩함으로써, 거시적 공간 레이아웃을 모델링함으로써 국소화 정확도를 향상시킨다.
• 스케일 변동성을 다루고 앵커 없이도 경계 상자 회귀의 불균형을 줄이기 위해 회귀 타깃에 소프트 아르민(soft argmin)을 적용한다.
• 핫스팟의 공간 인코딩을 보조 속도로 통합하여, 핫스팟 위치를 객체 중심 기준(예: 앞/뒤, 왼쪽/오른쪽, 분면)으로 분류한다.
• BEV 기반 백본과 검출 헤드를 사용하여 히트맵과 3D 박스 예측을 위한 회귀 헤드를 예측하며, 분류 및 회귀 손실 함수를 조합한다.

실험 결과

연구 질문

• RQ1 구분 가능한 내부 복셀(핫스팟) 기반의 구성적 객체 표현 방식이 희소한 LiDAR 점군에서 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 크기, 거리, 가림, 반사율 등으로 인한 객체 간 점 희소성 불균형 문제를 3D 검출에서 효과적으로 완화할 수 있는가?
• RQ3 핫스팟 간 공간 관계를 모델링함으로써 앵커 기반 3D 검출에서 국소화 정확도가 향상되는가?
• RQ4 사전 정의된 앵커 크기가 없는 앵커 기반 3D 검출에서 소프트 아르민이 회귀 타깃 불균형 문제를 효과적으로 해결할 수 있는가?
• RQ5 검출 성능 향상을 위해 핫스팟에 대한 최적의 공간 인코딩 전략은 무엇인가?

주요 결과

• 제안된 OHS 방법은 NuScenes 3D 검출 벤치마크에서 최고 성능을 기록하며 기존 방법들을 능가했다.
• KITTI 3D 검출 벤치마크에서 사이클리스트 및 보행자 검출 분야에서 1위를 기록했으며, '쉬움' 및 '어려움' 스플릿에서 각각 82.25%와 89.48%의 mAP를 달성했다.
• KITTI에서 25 FPS의 추론 속도를 확보하여 실시간 처리 능력을 입증했다.
• 분면 기반 공간 인코딩이 가장 높은 성능을 보였으며, 기준 모델 및 다른 인코딩 방식 대비 mAP를 최대 2.5% 향상시켰다.
• 제거 분석 결과, 소프트 아르민을 사용한 회귀가 소수의 점만을 가진 작은 객체에서 특히 성능 향상에 기여했다.
• 정성적 시각화 결과, 핫스팟이 일관되게 구조적으로 두드러진 부분(예: 차량의 앞쪽 모서리)에서 활성화됨을 확인하여, 모델이 의미 있는 구분 가능한 특징을 학습하고 있음을 입증했다.