[논문 리뷰] STD: Sparse-to-Dense 3D Object Detector for Point Cloud

Zetong Yang, Yanan Sun외 3명|arXiv (Cornell University)|2019. 07. 22.

Advanced Neural Network Applications참고 문헌 34인용 수 56

한 줄 요약

STD는 포인트 기반 구면 앵커로 시드된 2단계 3D 객체 탐지기, PointsPool 계층으로 컴팩트한 제안 특징을 형성하고 더 나은 위치 추정을 위해 3D IoU 분기를 추가하여 KITTI에서 약 10 FPS의 속도로 최첨단 결과를 달성합니다.

ABSTRACT

We present a new two-stage 3D object detection framework, named sparse-to-dense 3D Object Detector (STD). The first stage is a bottom-up proposal generation network that uses raw point cloud as input to generate accurate proposals by seeding each point with a new spherical anchor. It achieves a high recall with less computation compared with prior works. Then, PointsPool is applied for generating proposal features by transforming their interior point features from sparse expression to compact representation, which saves even more computation time. In box prediction, which is the second stage, we implement a parallel intersection-over-union (IoU) branch to increase awareness of localization accuracy, resulting in further improved performance. We conduct experiments on KITTI dataset, and evaluate our method in terms of 3D object and Bird's Eye View (BEV) detection. Our method outperforms other state-of-the-arts by a large margin, especially on the hard set, with inference speed more than 10 FPS.

연구 동기 및 목표

• 무거운 보셀화 없이 원시 포인트 클라우드에서 직접 정확한 3D 객체 탐지를 촉진한다.
• 로컬라이제이션 정보를 보존하기 위해 구면 앵커를 사용한 포인트 기반 제안 생성 제안을 제안한다.
• CNN 기반 헤드를 위한 압축 표현으로 희소 제안 특징을 변환하는 PointsPool 도입을 제안한다.
• 로컬라이제이션과 분류 간 정렬을 위한 병렬 3D IoU 분기로 상자 예측을 향상시킨다.
• KITTI BEV 및 3D 탐지에서 최첨단 성능을 입증하고 실시간 추론 속도를 달성한다.

제안 방법

• 각 포인트에 대해 구면 수용장을 사용하여 고재현(proposals) 생성을 위한 앵커 시드를 제공한다.
• 포인트별 특징을 제공하기 위해 3D 의미론적 분할 백본을 사용한다.
• 내부 포인트로부터 압축적이고 미분 가능한 제안 특징을 추출하기 위해 PointsPool 계층을 적용한다.
• 두 개의 가지 상자 예측기를 사용하여 박스 매개변수를 추정하고 개선된 NMS 정렬을 위한 3D IoU를 예측한다.
• 자세한 방향 추정을 위한 하이브리드 각도 예측(분류+회귀)을 통합한다.
• 세그멘테이션, 제안 분류/회귀, IoU/박스 손실을 결합한 다중 작업 손실로 학습한다.

실험 결과

연구 질문

• RQ1 포인트 기반의 구면 앵커 전략이 앵커 수와 계산을 줄이면서도 높은 재현율(recall)을 달성할 수 있는가?
• RQ2 PointsPool을 통해 희소 제안 특징을 밀집한 CNN 친화적 표현으로 변환하는 것이 속도와 정확도를 향상시키는가?
• RQ3 3D IoU 예측 분기가 전통적인 NMS를 넘어 포스트 처리 및 위치 정확도를 향상시키는가?
• RQ4 이 희소-to-밀도의 이단계 접근으로 KITTI BEV 및 3D 탐지에서 어떤 이점이 가능한가?
• RQ5 표준 GPU에서 실시간 추론이 충분히 효율적인가?

주요 결과

방법	모달리티	AP_BEV 쉬움	AP_BEV 보통	AP_BEV 어려움	AP_3D 쉬움	AP_3D 보통	AP_3D 어려움
Ours	LiDAR	89.66	87.76	86.89	86.61	77.63	76.06

• KITTI에서 Car, Pedestrian, Cyclist 모두 BEV 및 3D 지표에서 최첨단 성능을 달성하고, 어려운 세트에서 눈에 띄는 향상을 보인다.
• 보셀 기반 탐지기 및 기타 포인트 기반 탐지기보다 우수한 성능을 보이며 TitanV GPU에서 약 10 FPS의 추론을 제공한다.
• 구면 앵커와 PointsIoU 라벨링으로 재현율이 높으면서도 프루닝 후 앵커 수가 크게 감소한다(약 16K에서 약 500으로).
• PointsPool은 희소 내부 포인트 특징을 밀집 제안 표현으로 변환하는 미분 가능하고 그래디언트 친화적인 방법을 제공하여 CNN 기반 헤드를 효율적으로 가능하게 한다.
• IoU 추정 분기가 NMS의 효과를 개선하여 KITTI 평균 VAL에서 중간 수준에서 최대 약 1.1%의 이득을 제공하고 분류 신뢰도와 로컬라이제이션 품질 간의 정렬을 향상시킨다.
• 클래스 점수와 예측 IoU의 조합(cls-score × 3D-IoU)을 NMS 정렬에 사용하면 단독으로 사용할 때보다 최종 AP가 더 좋다.