[논문 리뷰] Depth Estimation from Monocular Images and Sparse Radar Data

Juan-Ting Lin, Dengxin Dai외 1명|arXiv (Cornell University)|2020. 01. 01.

Advanced Vision and Imaging참고 문헌 44인용 수 4

한 줄 요약

이 논문은 단일 RGB 영상과 흐린, 흐물거리는 레이더 데이터를 융합하여 고밀도 깊이 추정을 향상시키는 이단계 딥러닝 방법을 제안한다. 노이즈 제거 모듈과 스무쓰니스 손실을 도입함으로써 레이더의 노이즈를 효과적으로 다루며, nuScenes 데이터셋에서 어두운 조건에서도 RGB 전용 및 기존 LiDAR 기반 융합 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we explore the possibility of achieving a more accurate depth estimation by fusing monocular images and Radar points using a deep neural network. We give a comprehensive study of the fusion between RGB images and Radar measurements from different aspects and proposed a working solution based on the observations. We find that the noise existing in Radar measurements is one of the main key reasons that prevents one from applying the existing fusion methods developed for LiDAR data and images to the new fusion problem between Radar data and images. The experiments are conducted on the nuScenes dataset, which is one of the first datasets which features Camera, Radar, and LiDAR recordings in diverse scenes and weather conditions. Extensive experiments demonstrate that our method outperforms existing fusion methods. We also provide detailed ablation studies to show the effectiveness of each component in our method.

연구 동기 및 목표

• 외부 환경에서 노이즈가 많고 희박한 레이더 데이터를 활용한 고밀도 깊이 추정의 과제를 해결하기 위해.
• 기존 LiDAR-RGB 융합 방법이 레이더-RGB 융합에 적용되었을 때 실패하는 이유를 조사하기 위해.
• 레이더 데이터를 효과적으로 활용하여 깊이 예측 정확도를 향상시키는 견고한 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 다양한 조명 및 기상 조건에서 nuScenes 데이터셋에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 두 단계 아키텍처를 사용한다: 먼저 흐릿한 레이더 측정값을 노이즈 제거하고 정제한 후, RGB 특징과 융합하여 깊이 예측을 수행한다.
• 레이더 데이터 품질의 핵심 과제를 해결하기 위해, 융합 이전에 노이즈가 많은 레이더 포인트를 필터링하는 새로운 노이즈 제거 모듈을 도입한다.
• 첫 번째 단계에서는 스무쓰니스 손실을 사용하여 깊이 예측을 정규화하고 국소 일관성을 향상시켜 외곽선에 대한 저항력을 높인다.
• 딥러닝 아키텍처의 후단에서 RGB와 노이즈 제거된 레이더 브랜치의 특징맵을 연결하여 후기 융합을 수행한 후, 고밀도 깊이 출력을 위한 디코더를 적용한다.
• 일반화 성능을 향상시키기 위해 L1 손실과 스무쓰니스 정규화를 조합한 다중 작업 손실로 네트워크를 훈련시킨다.
• 표준 평가 지표인 RMSE, MAE, δ1, δ2, REL, MAElog를 사용하여 nuScenes 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 기존 LiDAR-RGB 융합 방법이 레이더-RGB 융합에 적용되었을 때 실패하는 이유는 무엇인가?
• RQ2 희박하고 노이즈가 많은 레이더 데이터는 단일 영상 깊이 추정을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ3 단일 영상과 레이더 데이터를 융합할 때 견고한 깊이 추정을 위해 필수적인 구성 요소는 무엇인가?
• RQ4 야간 조건과 같은 도전적인 조건에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 노이즈 제거 및 스무쓰니스 손실을 포함한 이단계 모델은 야간 데이터에서 RGB 전용 기준 대비 MAElog 에서 19.79%의 상대적 향상을 달성한다.
• 낮 시간대 서브셋에서, 이 방법은 RGB 전용 기준 대비 RMSE를 7.54% 감소시키고, MAE를 18.14% 감소시킨다.
• 제거 실험 결과, 노이즈 제거 모듈과 스무쓰니스 손실이 모두 필수적임을 확인하였으며, 둘 중 하나를 비활성화하면 성능이 크게 저하된다.
• 정성적 결과에서는, 특히 어두운 조건에서 CSPN 및 Sparse-to-dense보다 더 많은 세부 정보를 깊이 맵에 유지하는 것으로 나타났다.
• 원시 레이더 데이터를 사용한 초기 융합 베이스라인은 RGB 전용 모델보다 성능이 열 劣하므로, 노이즈가 많은 레이더 입력을 사전 처리할 필요성이 뚜렷하다.
• 레이더에 적응된 최신 기술(RGB+LiDAR 융합 모델, 예: CSPN, Sparse-to-dense)보다도 성능이 뛰어나, 레이더-RGB 융합에 효과적임을 입증한다.