[논문 리뷰] R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes

Stefano Gasperini|arXiv (Cornell University)|2021. 08. 10.

Advanced Optical Sensing Technologies참고 문헌 34인용 수 31

한 줄 요약

R4Dyn는 훈련 중에 저비용 자동차 레이더를 약한 감독 신호로 활용하고 추론 시에 선택적으로 입력으로 사용하여 동적 물체의 깊이 추정 성능을 향상시키는 새로운 자기지도 학습 단안 깊이 추정 프레임워크를 제안한다. 희박한 레이더 검출 결과를 필터링하고 확장함으로써, nuScenes 데이터셋에서 이동 중인 차량의 오차를 37% 감소시켰으며, Monodepth2와 같은 기준 자기지도 학습 모델보다 동적 환경에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

While self-supervised monocular depth estimation in driving scenarios has achieved comparable performance to supervised approaches, violations of the static world assumption can still lead to erroneous depth predictions of traffic participants, posing a potential safety issue. In this paper, we present R4Dyn, a novel set of techniques to use cost-efficient radar data on top of a self-supervised depth estimation framework. In particular, we show how radar can be used during training as weak supervision signal, as well as an extra input to enhance the estimation robustness at inference time. Since automotive radars are readily available, this allows to collect training data from a variety of existing vehicles. Moreover, by filtering and expanding the signal to make it compatible with learning-based approaches, we address radar inherent issues, such as noise and sparsity. With R4Dyn we are able to overcome a major limitation of self-supervised depth estimation, i.e. the prediction of traffic participants. We substantially improve the estimation on dynamic objects, such as cars by 37% on the challenging nuScenes dataset, hence demonstrating that radar is a valuable additional sensor for monocular depth estimation in autonomous vehicles.

연구 동기 및 목표

• 자신의 지도 학습 단안 깊이 추정 모델이 정적 세계 가정 위반으로 인해 동적 교통 참가자에서 실패하는 문제를 해결하기 위해.
• LiDAR 지도 데이터가 아닌 널리 보급된 자동차 레이더 데이터를 활용하여 기존 차량에서의 훈련을 가능하게 하기 위해.
• 앞서 오는 차량과 보행자와 같은 안전에 중요한 동적 물체에 대한 깊이 추정의 강인성과 정확도를 향상시키기 위해.
• 훈련 시 레이더를 약한 감독 신호로, 추론 시 입력 모odal로 통합하는 방법을 개발하여 모델 복잡도 증가 없이 성능 향상을 이끌기 위해.

제안 방법

• 훈련 중에 필터링 및 확장된 레이더 검출 결과를 감독 신호로 사용하는 새로운 약한 레이더 손실을 제안하여 동적 물체의 깊이 추정 성능을 향상시킨다.
• 딥 러닝 모델과 호환 가능한 조밀한 학습 가능한 레이더 특징를 생성하기 위해, 2차원 경계상자와 함께 원시 레이더 검출 결과를 필터링하고 공간적으로 확장하는 신호 처리 파이프라인을 도입한다.
• 다중 스트림 인코더와 조기 융합을 통해 자기지도 학습 깊이 추정 프레임워크(예: Monodepth2)를 확장함으로써, 추론 시 매우 희박한 깊이 보완이 가능하도록 한다.
• 광학적 손실, 약한 속도 손실, 약한 레이더 손실을 포함하는 다중 작업 학습 설정을 통해 깊이 및 자세 추정을 동시에 최적화한다.
• 일반화 성능을 확보하기 위해 데이터 증강 및 도메인 적응 기법을 적용하여, nuScenes에서 KITTI로의 전이도 가능하게 한다.
• LiDAR 데이터를 서브샘플링하여 레이더의 희박성과 노이즈를 시뮬레이션함으로써, 피팅 튜닝 없이 KITTI에서의 전이 학습 실험을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이더 데이터는 자기지도 학습 단안 깊이 추정에서 동적 물체에 대해 효과적으로 약한 감독 신호로 활용될 수 있는가?
• RQ2 희박하고 노이즈가 많은 자동차 레이더 데이터는 어떻게 전처리하여 딥 러닝 기반 깊이 추정 네트워크와 호환 가능하게 할 수 있는가?
• RQ3 훈련 및 추론 시 레이더를 통합함으로써, 앞서 오는 차량과 보행자와 같은 안전에 중요한 동적 물체의 깊이 추정 정확도가 향상되는가?
• RQ4 제안된 방법은 LiDAR가 없는 환경을 포함한 다양한 데이터셋과 실제 환경에 일반화 가능한가?

주요 결과

• R4Dyn는 nuScenes 데이터셋에서 Monodepth2 대비 동적 물체(차량)의 깊이 추정 오차를 37% 감소시켜 이동 교통 참가자 처리 능력 향상의 뚜렷한 증거를 제시한다.
• 클래스별 평가에서 'Vehicle' 클래스에 대해 77.86%의 mIoU, 'Non-Parked Vehicles' 클래스에 대해 80.86%의 mIoU를 기록하여 모든 기준 모델을 초월한다.
• KITTI 데이터셋에서 피팅 튜닝 없이도 일반화 성능이 뛰어나, Monodepth2 대비 상대 오차 개선률 11.5%를 달성하였으며, 이는 큰 도메인 갭에도 불구하고 뚜렷한 성능 향상을 보였다.
• 약한 레이더 손실만을 사용하는 R4Dyn-L은 기준 모델 대비 차량의 AbsRel 오차를 30.5% 감소시켜, 입력 융합 없이도 레이더가 감독 신호로서의 가치를 입증한다.
• 레이더 감독과 입력 융합을 모두 사용하는 R4Dyn-LI가 가장 뛰어난 성능을 보였으며, 차량에 대해 AbsRel 0.1551, 물체에 대해 0.2222를 기록하여 물체 클래스에서 LiDAR 지도 학습 기반 이전 연구를 초월했다.
• 정성적 결과에서는 R4Dyn이 앞서 오는 차량의 깊이를 정확히 추정하는 반면, Monodepth2는 거리 추정을 심각하게 과소평가함을 확인하여, 안전에 중요한 시나리오에서의 강인성을 입증한다.