[논문 리뷰] Advancing Autonomous Driving: DepthSense with Radar and Spatial Attention

Muhammad Ishfaq Hussain, Naz, Zubia외 2명|arXiv (Cornell University)|2021. 09. 11.

Advanced Vision and Imaging참고 문헌 31인용 수 8

한 줄 요약

이 논문은 레이더 검증 기반 단안 깊이 추정 방법인 RVMDE를 제안한다. 이 방법은 후기 융합 전략을 사용하여 희박한 레이더 데이터와 다중 척도 영상 특징을 가벼운 파rameter 효율적인 기능 피라미드 네트워크(FPN)의 변형 방식으로 융합한다. 보정된 높이 확장 레이더 마커와 순서 회귀를 적용함으로써, nuScenes 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하면서도 파라미터 수를 줄이고 추론 속도를 향상시켜 도전적인 환경에서도 뛰어난 견고성을 입증한다.

ABSTRACT

Depth perception is crucial for spatial understanding and has traditionally been achieved through stereoscopic imaging. However, the precision of depth estimation using stereoscopic methods depends on the accurate calibration of binocular vision sensors. Monocular cameras, while more accessible, often suffer from reduced accuracy, especially under challenging imaging conditions. Optical sensors, too, face limitations in adverse environments, leading researchers to explore radar technology as a reliable alternative. Although radar provides coarse but accurate signals, its integration with fine-grained monocular camera data remains underexplored. In this research, we propose DepthSense, a novel radar-assisted monocular depth enhancement approach. DepthSense employs an encoder-decoder architecture, a Radar Residual Network, feature fusion with a spatial attention mechanism, and an ordinal regression layer to deliver precise depth estimations. We conducted extensive experiments on the nuScenes dataset to validate the effectiveness of DepthSense. Our methodology not only surpasses existing approaches in quantitative performance but also reduces parameter complexity and inference times. Our findings demonstrate that DepthSense represents a significant advancement over traditional stereo methods, offering a robust and efficient solution for depth estimation in autonomous driving. By leveraging the complementary strengths of radar and monocular camera data, DepthSense sets a new benchmark in the field, paving the way for more reliable and accurate spatial perception systems.

연구 동기 및 목표

• 단안 깊이 추정의 불완전한 성질을 해결하기 위해, 거칠지만 신뢰할 수 있는 레이더 신호를 통합하여 정확도와 견고성을 향상시킨다.
• 스테레오 시각의 제한 사항(예: 엄격한 캘리브레이션 요구 사항)과 LiDAR의 높은 비용을 고려해, 저비용이고 효과적인 대안을 제안한다.
• 광학 센서가 실패하는 악조건에서 레이더의 환경 변화에 대한 내성을 활용하여 깊이 추정 성능을 향상시킨다.
• 다중 척도 영상 특징과 레이더 데이터를 융합하여 특징 표현을 향상시키되, 계산 비용을 최소화하는 파rameter 효율적인 FPN 변형을 개발한다.
• 클래스 활성화 맵(CAM)과 순서 회귀를 활용해 레이더 마커의 유효성 검증이 깊이 추정에 어떻게 기여하는지 검증한다.

제안 방법

• 하향 수준의 특징을 업샘플링하여 상향 수준의 특징을 사용하는 기존 FPN을 수정함으로써, 파라미터 수를 줄이면서도 공간적 및 척도 불변성을 유지한다.
• 레이더 처리된 특징과 RGB 영상 특징을 각각의 CNN 인코더를 거친 후 후기 융합 전략을 통해 연결한다.
• 고도 방향으로 레이더 포인트 클라우드를 히우리스틱 기반으로 확장하여 RGB 영상과의 공간 정렬을 향상시키고, 이후 CNN을 통해 특징 학습을 수행한다.
• 다중 척도에서 인코딩된 영상 및 레이더 특징을 연결한 후, 회귀 작업을 분류 작업으로 변환하기 위해 순서 회귀를 적용한다.
• 순서 회귀 출력에 GRAD-CAM++를 활용하여 클래스 활성화 맵(CAM)을 생성하여, 레이더 검증 영역이 깊이 추정 결정에 어떻게 기여하는지 시각화한다.
• nuScenes 데이터셋의 LiDAR 데이터를 학습 및 평가의 기준값으로 사용하여 카메라, 레이더, LiDAR 모odal 간 동기화를 확보한다.

실험 결과

연구 질문

• RQ1 레이더 데이터가 단안 시각의 불완전한 상황에서 거칠지만 신뢰할 수 있는 깊이 신호를 제공함으로써, 단안 깊이 추정에 효과적으로 기여할 수 있는가?
• RQ2 특히 고도로 확장된 레이더 마커의 통합은 깊이 예측의 공간 정렬 및 정확도를 어떻게 향상시키는가?
• RQ3 가벼운 파rameter 감소 FPN 변형이 레이더 데이터와 융합되었을 때 기존 표준 FPN보다 깊이 추정 성능에서 뛰어나게 작용하는가?
• RQ4 클래스 활성화 맵(CAM)은 레이더 검증 영역이 깊이 추정 결정에 실제로 기여하고 있음을 어느 정도 확인하는가?
• RQ5 특히 레이더-카메라 정렬 오차에 대해 제안된 방법은 얼마나 견고한가?

주요 결과

• 제안된 RVMDE 모델은 단안 깊이 추정에서 nuScenes 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 정량적 평가에서 기존 SOTA 방법들을 능가한다.
• 표준 FPN 기반 아키텍처에 비해 파라미터 수를 줄였지만, 깊이 추정 정확도는 유지 또는 향상시켰다.
• 후기 융합 전략이 조기 또는 중간 수준 융합 전략보다 우수한 성능을 내는 것으로 애버레이션 연구를 통해 확인되었다.
• 클래스 활성화 맵(CAM)은 레이더 마커에 해당하는 영역이 깊이 예측에 실제로 기여하고 있음을 보여주며, 레이더 데이터가 네트워크 지도에 효과적으로 기여하고 있음을 검증한다.
• 모델는 레이더 데이터에 대한 합성 캘리브레이션 오차에 대해 뛰어난 내성을 보이며, 센서 융합에서의 경미한 오차 정렬에도 견고함을 입증한다.
• 순서 회귀의 사용은 특히 장거리 깊이 추정(35m, 55m, 70m에서의 정성적 결과로 확인)에서 더 안정적이고 일반화된 깊이 예측을 가능하게 한다.