[논문 리뷰] Improved Multi-Scale Grid Rendering of Point Clouds for Radar Object Detection Networks

Daniel Köhler, Maurice Quach외 4명|arXiv (Cornell University)|2023. 05. 25.

Remote Sensing and LiDAR ApplicationsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 레이더 객체 검출을 위한 새로운 레이더 객체 검출 아키텍처인 multi-scale KPPillarsBEV를 제안한다. 이는 KPBEV—핵심 점 컨벌루션 기반 방법—를 통해 포인트에서 격자로의 변환 과정에서 국소적 특징 인코딩을 향상시켜 격자 렌더링을 개선한다. 이 방법은 nuScenes에서 베이스라인 대비 5.37% 향상된 Car AP4.0 성능을 기록하며, SOTA 대비 2.88% 향상되었고, 실시간 추론 속도를 유지한다.

ABSTRACT

Architectures that first convert point clouds to a grid representation and then apply convolutional neural networks achieve good performance for radar-based object detection. However, the transfer from irregular point cloud data to a dense grid structure is often associated with a loss of information, due to the discretization and aggregation of points. In this paper, we propose a novel architecture, multi-scale KPPillarsBEV, that aims to mitigate the negative effects of grid rendering. Specifically, we propose a novel grid rendering method, KPBEV, which leverages the descriptive power of kernel point convolutions to improve the encoding of local point cloud contexts during grid rendering. In addition, we propose a general multi-scale grid rendering formulation to incorporate multi-scale feature maps into convolutional backbones of detection networks with arbitrary grid rendering methods. We perform extensive experiments on the nuScenes dataset and evaluate the methods in terms of detection performance and computational complexity. The proposed multi-scale KPPillarsBEV architecture outperforms the baseline by 5.37% and the previous state of the art by 2.88% in Car AP4.0 (average precision for a matching threshold of 4 meters) on the nuScenes validation set. Moreover, the proposed single-scale KPBEV grid rendering improves the Car AP4.0 by 2.90% over the baseline while maintaining the same inference speed.

연구 동기 및 목표

• 레이더 기반 객체 검출에서 포인트 클라우드에서 격자로의 렌더링 과정에서의 정보 손실를 해결한다.
• 격자 기반 검출기에서 격자 렌더링 과정 중 핵심 점 컨벌루션(KPConvs)을 활용하여 특징 표현을 향상시킨다.
• 포인트 클라우드로부터 척도 인식 특징을 통합할 수 있는 일반화 가능한 다중 척도 격자 렌더링 공식을 개발한다.
• 성능과 계산 효율성의 균형을 고려한 파레토 최적의 검출 아키텍처를 설계한다.

제안 방법

• 각 비어 있지 않은 격자 셀의 앵커 포인트에 핵심 점 컨벌루션을 적용하는 격자 렌더링 모듈인 KPBEV를 제안하여 국소적 특징 인코딩을 향상시킨다.
• 어떤 격자 렌더링 방법을 사용하든 상관없이 다중 공간 해상도에서 포인트 클라우드를 처리하는 일반적인 다중 척도 격자 렌더링 공식을 도입한다.
• KPBEV와 다중 척도 렌더링을 통합한 단일 검출 백본인 KPPillarsBEV를 설계하여 포인트 기반 전처리와 격자 기반 CNN을 결합한다.
• 더 넓은 격자 해상도에서는 적응형 컨벌루션 반경을 사용하여 계산 부담을 줄이고 장거리 컨텍스트를 유지한다.
• 모든 입력 포인트가 아닌 앵커 포인트(비어 있지 않은 셀당 하나)에 한해 KPConv 연산을 제한함으로써 추론 속도를 유지한다.
• 검출 헤드의 lateral 연결을 통해 척도 간 특징 융합을 구현하여 다중 척도 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 핵심 점 컨벌루션은 레이더 기반 객체 검출에서 격자 렌더링 과정 중 특징 인코딩을 향상시킬 수 있는가?
• RQ2 단일 척도 접근 방식에 비해 다중 척도 격자 렌더링은 검출 성능을 향상시키는가?
• RQ3 임의의 격자 렌더링 방법과 호환 가능한 일반적인 다중 척도 격자 렌더링 공식을 설계할 수 있는가?
• RQ4 KPBEV와 다중 척도 렌더링을 통합할 경우 검출 정확도와 계산 비용 간의 상충 관계는 어떻게 되는가?

주요 결과

• 단일 척도 KPBEV는 추론 시간을 늘리지 않고 PointPillars 베이스라인 대비 Car AP4.0를 2.90% 향상시켰다.
• 제안된 다중 척도 KPPillarsBEV 아키텍처는 nuScenes에서 43.68%의 Car AP4.0와 26.42%의 mAP 성능을 기록하여, 베이스라인 대비 AP4.0에서 5.37% 향상되었다.
• 이 방법은 이전 SOTA인 KPPillars를 2.88% 초월했으며, V100 GPU에서 60 FPS의 실시간 속도를 유지했다.
• KPBEV는 포인트 기반 전처리 대비 0.5m 격자 해상도에서 KPConv 연산 수를 38% 감소시켜 효율성을 향상시켰다.
• 다중 척도 격자 렌더링은 KPBEV와 결합했을 때 가장 큰 성능 향상을 보였으며, 상호 보완적인 이점을 확인했다.
• 파레토 프론트 분석을 통해 이 아키텍처는 정확도와 계산 비용 간 강력한 트레이드오���을 제공함을 확인했으며, 다양한 하드웨어 환경에서의 구현 가능성을 입증했다.