[논문 리뷰] Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network

Chen-Chou Lo, Patrick Vandewalle|arXiv (Cornell University)|2021. 07. 15.

Advanced Vision and Imaging참고 문헌 19인용 수 33

한 줄 요약

이 논문은 깊이-확장된 다중 프레임 희박 레이더 데이터를 단일 RGB 이미지와 딥 오더링 회귀 네트워크(DORN)를 사용해 후기 융합하는 방법을 제안하여 고밀도 깊이 추정 성능을 향상시킨다. 레이더 포인트의 수직 범위를 0.5m에서 0.25–2m로 확장하고 이중 단계의 필터링 전략을 적용함으로써 데이터 밀도를 높이고 오차를 감소시켜 주간, 야간, 비 오는 조건에서 nuScenes 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We integrate sparse radar data into a monocular depth estimation model and introduce a novel preprocessing method for reducing the sparseness and limited field of view provided by radar. We explore the intrinsic error of different radar modalities and show our proposed method results in more data points with reduced error. We further propose a novel method for estimating dense depth maps from monocular 2D images and sparse radar measurements using deep learning based on the deep ordinal regression network by Fu et al. Radar data are integrated by first converting the sparse 2D points to a height-extended 3D measurement and then including it into the network using a late fusion approach. Experiments are conducted on the nuScenes dataset. Our experiments demonstrate state-of-the-art performance in both day and night scenes.

연구 동기 및 목표

• 단일 카메라 깊이 추정의 한계인 절대 깊이 부재 및 부적절한 재구성 문제를 희박한 레이더 데이터 통합을 통해 해결하고자 한다.
• 레이더의 본질적 희박성, 노이즈 및 제한된 수직 시야각 문제를 깊이 추정 과제에서 극복하고자 한다.
• 다양한 모달리티 입력을 고려하지 않도록 설계된 단일 카메라 깊이 모델도 적절히 전처리된 레이더 데이터를 후기 융합을 통해 이점을 얻을 수 있음을 입증하고자 한다.
• 레이더를 보조 모odal리티로 활용하여 어려운 조건(야간, 비 오는 날씨 등)에서의 깊이 추정 정확도를 향상시키고자 한다.

제안 방법

• 다중 프레임의 레이더 데이터를 통합하고, 단일 높이(0.5m)에서 0.25m에서 2m의 범위로 수직 방향으로 확장하여 공간 커버리지와 데이터 밀도를 증가시킨다.
• 노이즈가 있는 레이더 포인트를 제거하기 위해 이중 단계의 필터링 전략을 적용하여 깊이-확장된 레이더 측정치의 품질을 향상시킨다.
• 전처리된 깊이-확장 레이더를 DORN 네트워크의 인코더 단계 이후에 특징을 연결함으로써 RGB 이미지와 후기 융합한다.
• DORN 모델은 1–80m 깊이 범위에서 간격 증가 방식의 이산화를 사용하며, 80개의 순서 클래스를 활용한 순서 회귀 손실을 적용한다.
• 학습 중에 감마 대trast, 밝기 조정, 색상 보정 및 수평 반전 등의 데이터 증강 기법을 적용하여 모델의 내성적 저항성을 향상시킨다.
• 지상 진실 깊이 값은 희박한 라이다와 RGB 데이터를 기반으로 색상화 방법을 통해 보간하여 생성하며, 평가는 희박한 라이다 애너테이션을 사용한다.

실험 결과

연구 질문

• RQ1 잠재적 노이즈를 유발할 수 있는 희박한 레이더 포인트의 깊이 확장이 깊이 추정 정확도 향상에 기여할 수 있는가?
• RQ2 전처리된 레이더 데이터를 단일 RGB 이미지와 후기 융합할 경우, 조기 융합 또는 RGB 전용 기준선 대비 성능 향상이 이루어지는가?
• RQ3 레이더 데이터 통합이 저조도 조건(야간, 비 오는 날씨 등)에서 깊이 추정 성능에 미치는 영향은 어떠한가?
• RQ4 다양한 모달리티 입력을 고려하지 않도록 설계된 단일 카메라 깊이 모델도 레이더 입력을 통해 이점을 얻을 수 있는가?

주요 결과

• 레이더 포인트의 깊이 확장으로 평균 포인트 수가 215개에서 4,510개로 증가하여 내재 오차가 감소했으며, δ1은 0.350에서 0.187로 향상되고 RMSE는 25.536에서 12.184로 감소했다.
• 깊이-확장된 레이더를 사용한 후기 융합 방법이 전체 테스트 세트에서 최고 성능을 기록했으며, δ1 = 0.887, RMSE = 5.194, AbsRel = 0.107을 달성했다.
• 모든 조건에서 RGB 전용 기준선을 초월한 성능을 기록했으며, 야간 환경에서 가장 높은 성능 향상(δ1 0.764 → 0.782)을 보였다.
• 깊이-확장된 레이더에 자가 적응형 δ2 필터를 적용함으로써 성능이 추가로 향상되어 δ1 = 0.892, RMSE = 5.082, AbsRel = 0.107를 달성했으며, 특히 비 오는 조건에서 뚜렷한 향상이 관찰되었다.
• 시각적 비교 결과, 제안된 모델은 RGB 전용 기준선 대비 더 세밀한 깊이 맵을 생성하는 것으로 나타났으며, 특히 야간 및 비 오는 환경에서 두드러진다.
• 이상 기상 및 조명 조건에 대해 강건성을 입증했으며, 주간 및 야간 시나리오 모두에서 일관된 성능 향상이 관찰되었다.