[논문 리뷰] MVFAN: Multi-View Feature Assisted Network for 4D Radar Object Detection

Qiao Yan, Yihan Wang|arXiv (Cornell University)|2023. 10. 25.

Advanced SAR Imaging Techniques인용 수 4

한 줄 요약

MVFAN은 도플러 속도 및 반사율 정보를 활용하여 특징 학습을 향상시키기 위해 새로운 위치 지도 생성 모듈과 레이더 특징 보조 백본을 도입한 엔드 투 엔드, 앵커리스, 싱글스테이지 4D 레이더 기반 3D 객체 검출 프레임워크를 제안한다. 이는 아스티크스 및 보드 데이터셋에서 최신 기술 수준의 성능을 달성하며, 보행자 및 자전거 기반의 소형 이동 객체 검출을 크게 향상시킨다.

ABSTRACT

4D radar is recognized for its resilience and cost-effectiveness under adverse weather conditions, thus playing a pivotal role in autonomous driving. While cameras and LiDAR are typically the primary sensors used in perception modules for autonomous vehicles, radar serves as a valuable supplementary sensor. Unlike LiDAR and cameras, radar remains unimpaired by harsh weather conditions, thereby offering a dependable alternative in challenging environments. Developing radar-based 3D object detection not only augments the competency of autonomous vehicles but also provides economic benefits. In response, we propose the Multi-View Feature Assisted Network ( extit{MVFAN}), an end-to-end, anchor-free, and single-stage framework for 4D-radar-based 3D object detection for autonomous vehicles. We tackle the issue of insufficient feature utilization by introducing a novel Position Map Generation module to enhance feature learning by reweighing foreground and background points, and their features, considering the irregular distribution of radar point clouds. Additionally, we propose a pioneering backbone, the Radar Feature Assisted backbone, explicitly crafted to fully exploit the valuable Doppler velocity and reflectivity data provided by the 4D radar sensor. Comprehensive experiments and ablation studies carried out on Astyx and VoD datasets attest to the efficacy of our framework. The incorporation of Doppler velocity and RCS reflectivity dramatically improves the detection performance for small moving objects such as pedestrians and cyclists. Consequently, our approach culminates in a highly optimized 4D-radar-based 3D object detection capability for autonomous driving systems, setting a new standard in the field.

연구 동기 및 목표

• 4D 레이더 기반 3D 객체 검출에서 도플러 속도 및 반사율의 잠재적 활용이 부족한 문제를 해결하기 위해.
• 레이더 포인트 클라우드의 흐물러짐과 비균일한 분포로 인한 과제를 극복하기 위해.
• 비상우여상태에서 소형 동적 객체인 보행자 및 자전거의 검출 성능을 향상시키기 위해.
• BEV 및 실린더 투영에서 유래한 다중 시야 특징을 완전히 활용하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 싱글스테이지 검출기 내에서 레이더 전용 특징(Doppler, 반사율)과 공간 재가중 메커니즘의 융합 효과를 검증하기 위해.

제안 방법

• 레이더 포인트 클라우드의 비균일한 분포 문제를 해결하기 위해, 전경 포인트 및 그 특징에 더 높은 가중치를 할당하는 새로운 위치 지도 생성 모듈을 도입한다.
• Bird's Eye View (BEV) 및 실린더 피라미드 투영을 모두 활용한 다중 시야 특징 추출 전략을 적용하여 더 풍부하고 계층적인 특징 맵을 생성한다.
• 도플러 속도 및 RCS 반사율을 입력 채널로 명시적으로 통합하여 특징 표현을 향상시키는 새로운 레이더 특징 보조 백본을 제안한다.
• 다중 시야 특징에서 직접 3D 바운딩 박스를 엔드 투 엔드로 예측하는 싱글스테이지, 앵커리스 검출 헤드를 사용한다.
• 공간 해상도와 계산 효율성의 균형을 맞추기 위해 설정 가능한 해상도를 갖춘 격자 기반 투영(비에이브 및 실린더)을 적용한다.
• 객체에서 유래할 가능성이 높은 포인트를 우선순위로 배정하는 재가중 메커니즘을 도입하여 흐물러진 상황에서도 검출의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 도플러 속도 및 반사율의 통합이 4D 레이더 포인트 클라우드에서의 3D 객체 검출 성능 향상에 기여하는가?
• RQ2 BEV 및 실린더 투영에서 유래한 다중 시야 특징 융합이 단일 시야 방법에 비해 특징 표현을 얼마나 향상시키는가?
• RQ3 위치 지도를 통한 전경 및 배경 포인트 재가중 방식이 레이더 포인트 클라우드의 흐물러짐과 비균일성 영향을 얼마나 줄이는가?
• RQ4 엔드 투 엔드, 앵커리스, 싱글스테이지 프레임워크가 레이더 데이터에 적응된 기존 리모트 센서 기반 검출기보다 우월한가?
• RQ5 다양한 격자 크기 설정이 제안된 다중 시야 프레임워크에서 검출 정확도와 추론 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 MVFAN 프레임워크는 아스티크스 및 보드 데이터셋에서 기존의 4D 레이더 기반 3D 객체 검출 방법을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• 위치 지도 모듈의 포함으로 기준 방법 대비 mAP는 최대 5.5% 향상되고 mAOS는 최대 10.5% 향상된다.
• 레이더 특징 보조 백본은 소형 이동 객체 검출 성능을 크게 향상시킨다: 보드 데이터셋에서 보행자 mAP는 4.5% 향상되고 자전거 mAP는 5.2% 향상된다.
• 최고 성능을 보인 설정($BEV16$-$cyl5$)은 주행 코리도어 시나리오에서 34.05% mAP 및 31.58% mAOS를 기록하여 핵심 영역에서의 강건성을 입증한다.
• 제거 실험 결과, 도플러 속도 및 반사율 둘 다가 검출 정확도에 상당한 기여를 하며, 기하학적 특징만 사용할 경우 대비 7.3% mAP 향상이 이루어진다.
• MVFAN의 추론 속도는 $BEV16$-$cyl5$ 설정에서 64.48 FPS에 도달하여 자율 주행 응용 분야에서 실시간 가능성을 입증한다.