[논문 리뷰] RadSegNet: A Reliable Approach to Radar Camera Fusion

Kshitiz Bansal, Keshav Rungta외 1명|arXiv (Cornell University)|2022. 08. 08.

Infrared Target Detection Methodologies인용 수 10

한 줄 요약

RadSegNet는 카메라 이미지와 레이더 포인트 클러스터로부터 독립적으로 의미 특징을 추출하는 새로운 레이더-카메라 융합 프레임워크를 제안한다. 이는 카메라 입력이 가림이나 악천후로 인해 열악해지는 상황에서도 강력한 객체 검출을 가능하게 한다. Astyx 데이터셋에서 최신 기술 대비 평균 정밀도가 27% 향상되었고, RADIATE에서 41.46% 향상되었으며, 혼합 데이터로 훈련한 경우 악천후 상황에서 성능이 126% 향상되었다.

ABSTRACT

Perception systems for autonomous driving have seen significant advancements in their performance over last few years. However, these systems struggle to show robustness in extreme weather conditions because sensors like lidars and cameras, which are the primary sensors in a sensor suite, see a decline in performance under these conditions. In order to solve this problem, camera-radar fusion systems provide a unique opportunity for all weather reliable high quality perception. Cameras provides rich semantic information while radars can work through occlusions and in all weather conditions. In this work, we show that the state-of-the-art fusion methods perform poorly when camera input is degraded, which essentially results in losing the all-weather reliability they set out to achieve. Contrary to these approaches, we propose a new method, RadSegNet, that uses a new design philosophy of independent information extraction and truly achieves reliability in all conditions, including occlusions and adverse weather. We develop and validate our proposed system on the benchmark Astyx dataset and further verify these results on the RADIATE dataset. When compared to state-of-the-art methods, RadSegNet achieves a 27% improvement on Astyx and 41.46% increase on RADIATE, in average precision score and maintains a significantly better performance in adverse weather conditions

연구 동기 및 목표

• 카메라 입력이 가림이나 악천후로 인해 열악해질 때 기존 레이더-카메라 융합 방법의 낮은 내구성 문제를 해결하기 위해.
• 카메라와 레이더 특징 추출을 분리함으로써 신뢰할 수 있는 성능을 유지하는 융합 시스템을 설계하기 위해.
• 카메라의 의미적 풍부함과 레이더의 전천후 신뢰성이라는 상호보완적 강점을 독립적 처리를 통해 활용하기 위해.
• 청명한 날씨와 악천후 조건에서 모두 벤치마크 데이터셋을 기반으로 시스템을 검증하기 위해.
• 독립적 정보 추출이 어려운 상황에서의 일반화 및 신뢰성 향상에 기여함을 입증하기 위해.

제안 방법

• 레이더 데이터에 대해 베이드의 뷰(BEV) 표현을 사용하여 가림 및 장거리 탐지 성능을 향상시킨다.
• 최신 기술 모델을 사용해 RGB 카메라 이미지에서 의미 분할을 수행하여 풍부한 텍스처 및 의미 특징을 추출한다.
• 카메라 기반 의미 특징을 3차원 레이더 포인트 클러스터 공간에 투영할 수 있도록 새로운 의미-포인트 격자(SPG) 표현을 도입하여, 깊이 감독 없이도 다중 모odal 정렬을 가능하게 한다.
• 카메라와 레이더 입력을 병렬로 처리하여 의미 분할과 탐지 사이의 지연을 한 프레임으로 최소화한다.
• CFAR 필터링을 사용해 레이더 강도 지ap을 2차원 포인트 클러스터로 변환하고, 센서 높이를 z좌표로 사용해 3차원 포인트 클러스터를 구성한다.
• 레이더 기반 탐지와 SPG로 인코딩된 의미 사전 지식을 조합함으로써 융합을 달성하여, 카메라 특징이 열악해지는 상황에서도 강력한 탐지 성능을 확보한다.

실험 결과

연구 질문

• RQ1 악천후나 가림으로 인해 카메라 입력이 열악해질 때도 레이더-카메라 융합 시스템이 높은 성능을 유지할 수 있는가?
• RQ2 카메라와 레이더에서 독립적으로 특징을 추출하는 방식이 통합 또는 동시 융합 대비 시스템 신뢰성을 향상시키는가?
• RQ3 제안된 SPG 표현이 깊이 감독 없이도 효과적인 다중 모달 특징 융합을 어떻게 가능하게 하는가?
• RQ4 청명한 날씨와 악천후 데이터를 모두 사용해 훈련하면 레이더-카메라 융합 시스템의 일반화 능력이 어느 정도 향상되는가?
• RQ5 시스템이 다양한 레이더 유형과 어려운 환경 조건에서도 높은 정확도를 유지를 할 수 있는가?

주요 결과

• RadSegNet는 최신 기술 대비 Astyx 데이터셋에서 평균 정밀도가 27% 향상되었다.
• RADIATE 데이터셋에서 청명+악천후 데이터로 훈련 및 테스트한 경우 RadSegNet의 평균 정밀도가 41.46% 향상되었다.
• 청명 데이터로만 훈련한 경우 RadSegNet의 악천후 성능은 126% 향상되었고, AVOD-fusion 대비 25.34% 향상되었다.
• RADIATE의 정성적 결과에서 볼 수 있듯이, 빽빽한 교통, 악천후, 저조도 조건에서도 시스템은 강력한 탐지 성능을 유지한다.
• 독립적 추출 설계 덕분에 카메라 특징이 완전히 손상된 경우 레이더 전용 탐지로 점진적으로 성능이 저하되는 방식을 취할 수 있다.
• SPG 표현은 레이더 포인트 클러스터에 효과적인 의미 사전 지식을 투영하여 깊이 감독 없이도 탐지 정확도를 크게 향상시킨다.