[논문 리뷰] RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects

Bin Yang, Runsheng Benson Guo외 3명|arXiv (Cornell University)|2020. 07. 28.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 11

한 줄 요약

RadarNet는 기하학적 정확도를 위해 볼록 기반 조기 융합과 동적 속도 추정을 위해 주의 기반 후기 융합을 사용하는 새로운 융합 프레임워크를 제안한다. 이는 3D 객체 검출 및 속도 추정에서 최신 기술 수준의 성능을 달성하며, 특히 희박한 LiDAR 데이터나 낮은 레이더 신호 밀도 조건에서 장거리 탐지 및 동적 객체의 운동 이해를 크게 향상시킨다.

ABSTRACT

We tackle the problem of exploiting Radar for perception in the context of self-driving as Radar provides complementary information to other sensors such as LiDAR or cameras in the form of Doppler velocity. The main challenges of using Radar are the noise and measurement ambiguities which have been a struggle for existing simple input or output fusion methods. To better address this, we propose a new solution that exploits both LiDAR and Radar sensors for perception. Our approach, dubbed RadarNet, features a voxel-based early fusion and an attention-based late fusion, which learn from data to exploit both geometric and dynamic information of Radar data. RadarNet achieves state-of-the-art results on two large-scale real-world datasets in the tasks of object detection and velocity estimation. We further show that exploiting Radar improves the perception capabilities of detecting faraway objects and understanding the motion of dynamic objects.

연구 동기 및 목표

• 기상 악화 조건에서 카메라 기반 또는 LiDAR 기반 인식의 장거리 탐지 및 속도 추정 능력의 한계를 해결하기 위해.
• 자율 주행 인식에서 희박하고 노이즈가 많으며 모호한 레이더 데이터의 과제를 극복하기 위해.
• 레이더와 LiDARD에서 기하학적 정보와 동적 정보를 효과적으로 활용할 수 있는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 특히 LiDAR 데이터가 희박하거나 가림을 입을 경우 동적 객체의 운동 추정 정확도를 향상시키기 위해.
• 지표 없이도 레이더 타겟과 객체 검출 간의 강건한 연관성을 학습하기 위해.

제안 방법

• 볼록 기반 조기 융합 전략은 LiDAR 포인트 클라우드를 레이더 반사 신호와 볼록 수준에서 융합하여 기하 표현을 향상시키고 장거리 탐지 성능을 향상시킨다.
• 주의 기반 후기 융합 모듈은 레이더 타겟과 검출된 객체 간의 연관성을 학습하며, 양 센서 모odal의 불확실성을 모델링한다.
• 주의 메커니즘은 레이더 속도 측정의 신뢰성에 따라 동적으로 가중치를 설정하여 1차원 반경 속도를 정확한 2차원 객체 속도 추정치로 변환한다.
• 네트워크는 효율적이고 정확한 객체 검출을 위해 비드의이뷰(BEV) 특징 표현을 사용하는 단단계 3D 검출기로 구성된다.
• 모델은 대규모 실세계 데이터셋에서 엔드 투 엔드로 훈련되어 다중 모odal 센서 데이터 융합을 학습하면서 센서 고유의 노이즈와 모호함을 처리한다.
• 제거 분석을 통해 각 구성 요소의 기여도를 검증하였으며, 성능 향상에 있어 조기 융합과 후기 융합 모두가 필수적임을 보였다.

실험 결과

연구 질문

• RQ1 어떻게 레이더 데이터를 LiDAR와 효과적으로 융합하여 장거리 3D 객체 탐지 성능을 향상시킬 수 있는가?
• RQ2 지표 없이도 주의 기반 융합 메커니즘이 노이즈가 많은 레이더 타겟과 객체 검출 간의 연관성을 학습할 수 있는가?
• RQ3 레이더가 특히 저 SNR 또는 희박한 데이터 영역에서 동적 객체의 속도 추정 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 융합 프레임워크는 히우리스틱 또는 단순 융합 기반 베이스라인 대비 신뢰성과 성능 면에서 어떻게 비교되는가?
• RQ5 다중 센서 융합에서 센서 불확실성의 역할은 무엇이며, 딥 러닝 아키텍처에서 이를 효과적으로 모델링할 수 있는가?

주요 결과

• RadarNet는 nuScenes 및 DenseRadar 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법을 뛰어넘는 3D 객체 검출 및 속도 추정 성능을 보였다.
• DenseRadar에서 70–100m 범위에서 검출 AP가 +0.8% 향상되어 레이더의 장거리 감지 능력 덕분에 장거리 인식 능력이 향상됨을 입증했다.
• 주의 기반 후기 융합은 DenseRadar에서 속도 추정 오차를 19% 감소시켜 히우리스틱 기반 베이스라인을 크게 능가했으며, 특히 고노이즈 또는 저신호 상황에서 뚜렷한 성능 향상을 보였다.
• nuScenes에서 속도 오차는 14% 감소했고, DenseRadar에서는 19% 감소했으며, 특히 레이저 시선 방향에 대해 높은 각도로 움직이거나 낮은 속도를 가지는 객체에서 가장 큰 성과를 기록했다.
• 주의 모듈은 센서 불확실성을 효과적으로 포착하여, 반경 속도가 모호한 경우(예: 운동 방향이 센서의 선로와 거의 수평일 때) 신뢰할 수 없는 레이더 연관성을 피하는 데 성공했다.
• 정성적 결과는 레이더 타겟과 검출 간에 강건하고 희박한 연관성을 보였으며, 모델이 노이즈가 많거나 신뢰할 수 없는 레이더 반사 신호를 올바르게 거부하는 것을 확인할 수 있었다.