[논문 리뷰] Reviewing 3D Object Detectors in the Context of High-Resolution 3+1D Radar

Patrick Palmer, Martin Krueger외 3명|arXiv (Cornell University)|2023. 08. 10.

Advanced SAR Imaging Techniques인용 수 4

한 줄 요약

이 논문은 고해상도 3+1D 레이더 포인트 클라우드에서 원래 라이다 포인트 클라우드를 위한 10종의 3D 객체 검출기들을 평가하며, 레이더 데이터에 적응시켜 두 데이터셋에서의 성능을 평가한다. 주요 발견은 한 모델이 항상 뛰어나지 않으며, PV-RCNN과 Voxel R-CNN이 더 뛰어난 강건성을 보이며, PointRCNN은 성능이 열 劣하다. 레이더 데이터의 노이즈와 흐릿함이 검출 정확도를 크게 떨어뜨리며, 라이다와의 성능 격차를 줄이기 위해 레이더 전용 아키텍처 개선이 필요하다는 점을 시사한다.

ABSTRACT

Recent developments and the beginning market introduction of high-resolution imaging 4D (3+1D) radar sensors have initialized deep learning-based radar perception research. We investigate deep learning-based models operating on radar point clouds for 3D object detection. 3D object detection on lidar point cloud data is a mature area of 3D vision. Many different architectures have been proposed, each with strengths and weaknesses. Due to similarities between 3D lidar point clouds and 3+1D radar point clouds, those existing 3D object detectors are a natural basis to start deep learning-based 3D object detection on radar data. Thus, the first step is to analyze the detection performance of the existing models on the new data modality and evaluate them in depth. In order to apply existing 3D point cloud object detectors developed for lidar point clouds to the radar domain, they need to be adapted first. While some detectors, such as PointPillars, have already been adapted to be applicable to radar data, we have adapted others, e.g., Voxel R-CNN, SECOND, PointRCNN, and PV-RCNN. To this end, we conduct a cross-model validation (evaluating a set of models on one particular data set) as well as a cross-data set validation (evaluating all models in the model set on several data sets). The high-resolution radar data used are the View-of-Delft and Astyx data sets. Finally, we evaluate several adaptations of the models and their training procedures. We also discuss major factors influencing the detection performance on radar data and propose possible solutions indicating potential future research avenues.

연구 동기 및 목표

• 기존의 라이다 기반 3D 객체 검출기가 고해상도 3+1D 레이더 포인트 클라우드로의 이식 가능성 평가
• 레이더 기반 3D 검출에서의 성능 저하 요인, 특히 데이터 흐릿함과 높은 노이즈 수준을 규명
• View-of-Delft 및 Astyx를 포함한 다양한 레이더 데이터셋 간의 모델 일반화 평가
• 데이터 누적 기법과 레이더 전용 아키텍처 확장으로 개선 제안
• 자율주행을 위한 레이더 전용 3D 객체 검출 분야의 향후 연구를 위한 벤치마크 수립

제안 방법

• 점 기반(PV-RCNN), 박스 기반(Voxel R-CNN), 피라미드 기반(PointPillars), 점-박스 하이브리드 기반(PV-RCNN)의 10종의 최신 3D 객체 검출기를 3+1D 레이더 포인트 클라우드에서 작동하도록 적응
• 네트워크 백본과 특징 인코더를 수정하며, 레이더 전용 입력(예: 반사 속도)을 처리할 수 있도록 Voxel Feature Encoder(VFE) 확장
• 도시 교통 환경을 포함한 고해상도 3+1D 레이더 벤치마크인 View-of-Delft(VoD) 데이터셋에서 모델 훈련
• VoD에서 가장 우수한 성능을 보인 모델을 작은 Astyx 데이터셋에서 미세조정하여 데이터셋 간 일반화 평가
• 모델 간 및 데이터셋 간 검증을 통해 다양한 모델과 데이터 분포 간 검출 성능 비교
• 오차 유형 분석 및 오류 시각화를 통해 레이더 노이즈와 흐릿함으로 인한 잘못된 검출 및 정렬 오류 진단

Figure 1 : Overview of radar sensor data processing pipeline. See [ 5 , 43 , 27 ] for a more detailed description. ADC: Analog-to-Digital Converter, FFT: Fast Fourier Transformation, DC: Data Conversion, Demo: Demodulation, PD: Peak Detection

실험 결과

연구 질문

• RQ1 기존의 라이다 기반 3D 객체 검출기가 고해상도 3+1D 레이더 포인트 클라우드 데이터로 얼마나 잘 일반화되는가?
• RQ2 레이더 기반 3D 검출에서 성능을 제한하는 주요 요인는 무엇이며, 라이다 기반 검출과 비교해 봤을 때는 어떠한가?
• RQ3 다양한 레이더 데이터 분포와 객체 유형에서 가장 강건하게 작동하는 3D 객체 검출기 아키텍처는 무엇인가?
• RQ4 레이더의 데이터 흐릿함과 높은 노이즈 수준이 라이다 대비 검출 정확도에 얼마나 큰 영향을 미치는가?
• RQ5 레이더 전용 데이터 처리 또는 아키텍처 수정은 레이더 전용 3D 객체 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• PV-RCNN와 Voxel R-CNN는 View-of-Delft 및 Astyx 데이터셋 양쪽에서 가장 높고 일관된 3D mAP 성능을 기록하여, 레이더 데이터 특성에 대해 더 뛰어난 강건성을 보임.
• PointRCNN는 다른 모델들에 비해 레이더 데이터에서 성능이 크게 열 劣하여, 주요 아키텍처 수정 없이 직접 적용하기에는 부적합함.
• 라이다와 레이더 간 성능 격차는 흐릿함만으로 설명될 수 없으며, 레이더 포인트 클라우드의 높은 노이즈 수준이 심각한 정렬 오류와 잘못된 검출을 유발함.
• 지표점(annotation)에 점이 적은 흐릿한 영역에서 잘못된 검출이 빈번히 발생함을 시사하며, 이는 검출기가 저신호 영역에서도 검출을 예측하도록 학습된 것으로 보임.
• 시간에 따른 포인트 클라우드 누적은 동적 물체로 인해 스메어링 아티팩트를 유발할 수 있으나, 반사 속도 추정치를 활용한 운동 보정으로 이를 완화 가능함.
• 반사 속도 통합, 자기주의 주의(self-attention) 메커니즘, 불확실성 추정 등 레이더 전용 아키텍처 확장 기법이 라이다 성능 격차를 줄이는 데 강력한 잠재력을 보임.

Figure 2 : General trends for the detection performances of all the investigated models for both ranges on lidar (solid lines) and radar (dashed lines) data. PP: PointPillars, SD: SECOND, Point: Point-RCNN, PV: PV-RCNN, Voxel: Voxel R-CNN, CP: CenterPoint