[논문 리뷰] StarNet: Targeted Computation for Object Detection in Point Clouds

Jiquan Ngiam, Benjamin Caine외 11명|arXiv (Cornell University)|2019. 08. 29.

Advanced Neural Network Applications참고 문헌 51인용 수 100

한 줄 요약

StarNet은 데이터 의존적 제안과 지역 피처링을 활용하는 희소한 포인트 기반 LiDAR 탐지기로, 동적 추론 비용 제어와 시계열 맥락화를 가능하게 하면서 경쟁력 있는 3D 물체 탐지를 달성합니다.

ABSTRACT

Detecting objects from LiDAR point clouds is an important component of self-driving car technology as LiDAR provides high resolution spatial information. Previous work on point-cloud 3D object detection has re-purposed convolutional approaches from traditional camera imagery. In this work, we present an object detection system called StarNet designed specifically to take advantage of the sparse and 3D nature of point cloud data. StarNet is entirely point-based, uses no global information, has data dependent anchors, and uses sampling instead of learned region proposals. We demonstrate how this design leads to competitive or superior performance on the large Waymo Open Dataset and the KITTI detection dataset, as compared to convolutional baselines. In particular, we show how our detector can outperform a competitive baseline on Pedestrian detection on the Waymo Open Dataset by more than 7 absolute mAP while being more computationally efficient. We show how our redesign---namely using only local information and using sampling instead of learned proposals---leads to a significantly more flexible and adaptable system: we demonstrate how we can vary the computational cost of a single trained StarNet without retraining, and how we can target proposals towards areas of interest with priors and heuristics. Finally, we show how our design allows for incorporating temporal context by using detections from previous frames to target computation of the detector, which leads to further improvements in performance without additional computational cost.

연구 동기 및 목표

• LiDAR 데이터의 희소성과 3D 특성을 실시간 자율주행에 활용하는 탐지기 동기화.
• 전역 맥락 없이 제안을 독립적으로 처리하는 완전 포인트 기반 탐지기 개발.
• 학습된 영역 제안을 대체하기 위한 저렴한 데이터 기반 중심 샘플링 및 로컬 포인트 클라우드 피처링 도입.
• 추론 시 제안 수와 제안당 포인트 수를 조절해 계산을 동적으로 할당 가능하도록 설정.
• 이전 프레임의 시계열 맥락으로 추가 비용 없이 탐지를 개선하도록 하는 시계열 맥락 활용.

제안 방법

• StarNet을 제안합니다. 로컬이며 전역적이지 않은 탐지기로, LiDAR 포인트 클라우드에서 중심점을 샘플링하고 각 중심점을 독립적으로 처리합니다.
• z-경계 내에서 제안 중심점을 생성하기 위해 랜덤 샘플링 또는 가장 먼 포인트 샘플링(FPS)을 사용하며, 필요 시 이전 프레임의 탐지로 시드(seed)로 활용합니다.
• 각 제안 주변의 로컬 포인트 클라우드를 StarNet 블록의 축으로 피처화하여 로컬/글로벌 통계를 집계하고 제안당 384차원 피처를 생성합니다.
• 각 중심점 주위에 데이터 의존적 그리드의 앵커를 구성하고, 384차원 피처에서 분류 로짓 및 바운딩 박스 매개변수 회귀 로짓으로 투영합니다.
• 분류에 대한 포컬 손실과 바운딩 박스 회귀에 SmoothL1 손실을 사용하며, IoU 기반 할당 방식을 긍정/부정 임계값으로 적용합니다.
• 이전 프레임의 고신뢰 탐지를 시드로 사용해 현재 프레임 탐지를 향상시키되 재학습 없이 시계열 맥락을 활용합니다.

실험 결과

연구 질문

• RQ1 완전히 포인트 기반의 로컬 비집계 제안으로 작동하는 탐지기가 3D 물체 탐지를 위한 합성곱 기반 방법과 경쟁할 수 있는가?
• RQ2 LiDAR의 희소성과 데이터 의존적 샘플링을 활용해 재학습 없이 추론 비용에 대한 유연한 제어가 가능한가?
• RQ3 이전 프레임의 시계열 맥락을 도입하면 탐지 성능과 계산량에 어떤 영향을 미치는가?
• RQ4 무작위 샘플링 vs FPS vs 시계열 시딩 등 다양한 중심 샘플링 전략이 탐지 범위와 정확도에 어떤 영향을 미치는가?

주요 결과

• StarNet은 합성곱 기반 기준선과 비교하여 KITTI와 Waymo Open Dataset에서 경쟁력 있는 3D 탐지 성능을 달성합니다.
• Waymo 보행자 탐지에서 StarNet은 유사한 계산량에서 경쟁적 기준선보다 절대적 mAP를 7 이상 향상시킵니다.
• 이전 프레임의 탐지로 시드된 시계열 맥락은 Pedestrian mAP를 최대 약 40% 상대 향상까지 크게 높일 수 있습니다.
• FPS 샘플링은 무작위 샘플링보다 고르게 공간 커버리지를 제공하고, 고정된 제안 예산에서 중심 제안을 더 좋게 만듭니다.
• 훈련 없이 제안 수나 제안당 포인트 수를 조정해 단일 학습된 StarNet 모델이 계산 비용을 조정할 수 있으며, 상당한 효율 향상을 달성합니다.
• 시계열 시드를 사용하면 32개의 이전 탐지를 384개 중심에 적용했을 때 검증에서 Pedestrian mAP를 41.8에서 53.2로, 192 이전 탐진은 58.0으로 상승시키고(384 중심 대비), 512 이전 탐진과 1024 중심에서는 약 69.7 mAP를 달성합니다.