[논문 리뷰] Parse Geometry from a Line: Monocular Depth Estimation with Partial Laser Observation

Yiyi Liao, Lichao Huang외 4명|arXiv (Cornell University)|2016. 10. 17.

Advanced Vision and Imaging참고 문헌 10인용 수 6

한 줄 요약

이 논문은 스케일 모호성을 해결하고 깊이 정확도를 향상시키기 위해 희박한 2D 레이저 레인지 파인더 데이터를 활용하는 단안 깊이 추정 방법을 제안한다. 레이저 스캔에서 조밀한 기준 깊이 맵을 구성하고, 분류 손실과 회귀 손실을 병합한 잔차-잔차 컨volution 신경망을 훈련시켜 잔차 깊이를 추정함으로써, NYUD2 및 KITTI에서 최신 기술 수준의 성능을 달성하며, 장애물 회피 신뢰도가 크게 향상된다.

ABSTRACT

Many standard robotic platforms are equipped with at least a fixed 2D laser range finder and a monocular camera. Although those platforms do not have sensors for 3D depth sensing capability, knowledge of depth is an essential part in many robotics activities. Therefore, recently, there is an increasing interest in depth estimation using monocular images. As this task is inherently ambiguous, the data-driven estimated depth might be unreliable in robotics applications. In this paper, we have attempted to improve the precision of monocular depth estimation by introducing 2D planar observation from the remaining laser range finder without extra cost. Specifically, we construct a dense reference map from the sparse laser range data, redefining the depth estimation task as estimating the distance between the real and the reference depth. To solve the problem, we construct a novel residual of residual neural network, and tightly combine the classification and regression losses for continuous depth estimation. Experimental results suggest that our method achieves considerable promotion compared to the state-of-the-art methods on both NYUD2 and KITTI, validating the effectiveness of our method on leveraging the additional sensory information. We further demonstrate the potential usage of our method in obstacle avoidance where our methodology provides comprehensive depth information compared to the solution using monocular camera or 2D laser range finder alone.

연구 동기 및 목표

• 로봇 응용 분야에서 주요 과제인 단안 깊이 추정의 전역 스케일 모호성을 해결하기 위해.
• 추가 하드웨어 비용 없이도 희박한 2D 레이저 레인지 파인더 데이터와 단안 영상의 통합을 통해 깊이 추정 신뢰도를 향상시키기 위해.
• 실제 깊이와 레이저 데이터에서 유도된 조밀한 기준 맵 사이의 잔차 학습 문제로 깊이 추정을 재정의하기 위해.
• RGB와 부분 깊이 관측치를 융합하여 연속적이고 조밀한 깊이 예측을 수행할 수 있는 새로운 딥 러닝 아키텍처를 개발하기 위해.
• 특히 단일 센서가 시야 범위가 제한되어 실패하는 장애물 회피와 같은 실제 로봇 작업에서의 방법의 효과성을 검증하기 위해.

제안 방법

• 보간 및 기하 제약 조건을 사용하여 희박한 2D 레이저 레인지 데이터에서 조밀한 기준 깊이 맵을 구성하기 위해.
• 실제 깊이와 기준 깊이 맵 사이의 잔차 깊이를 예측하는 방식으로 단안 깊이 추정을 재구성하기 위해.
• 계층적 특징 학습을 모델링하기 위해 새로운 잔차-잔차 완전 컨volution 신경망(RCNN)을 설계하기 위해.
• 분류 손실(깊이 수준 예측을 위한)과 회귀 손실(연속적인 깊이 값 추정을 위한)을 통합한 복합 손실 함수를 사용하여 네트워크를 훈련시키기 위해.
• 단안 영상과 레이저 스캔을 다중 모odal 입력으로 네트워크에 통합하여 부분 관측치로부터의 끝에서 끝까지의 깊이 학습을 가능하게 하기 위해.
• 예측된 잔차 깊이를 기준 맵에 더하여 전체 조밀한 깊이 맵을 재구성하기 위해.

실험 결과

연구 질문

• RQ1 희박한 2D 레이저 레인지 데이터가 단안 깊이 추정의 전역 스케일 모호성을 효과적으로 줄일 수 있는가?
• RQ2 딥 뉴럴 네트워크는 RGB 영상과 부분 깊이 관측치를 동시에 활용하여 조밀한 깊이 예측을 수행할 수 있도록 어떻게 설계할 수 있는가?
• RQ3 분류 손실과 회귀 손실을 병합하면 잔차 깊이 추정의 정확도와 강건성 향상에 기여하는가?
• RQ4 제안된 방법은 단안 영상이나 2D 레이저 레인지 파인더 단독 사용에 비해 장애물 회피 성능을 어느 정도 향상시키는가?
• RQ5 이 방법은 다양한 환경 복잡도를 가진 실내 및 실외 환경 간에 일반화 가능한가?

주요 결과

• 제안된 방법은 NYUD2 및 KITTI 데이터셋에서 기존의 단안 깊이 추정 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 레이저 스캔 높이(80cm)에서 깊이 추정 정확도가 크게 향상되며, 이 높이에서 RMS, REL, log10 오차 지표가 최소가 된다.
• 성능 향상은 레이저 높이를 초월하여 확장되며, 부분 레이저 데이터가 전체 장면의 깊이 추정을 향상시킨다는 것을 시사한다.
• 80cm 이하의 루트 평균 제곱 오차가 감소하여, 로봇 주행 및 장애물 회피에 특히 적합하다.
• 장애물 회피 실험 결과, 융합된 깊이 예측이 단독으로 단안 영상이나 2D 레이저 스캔을 사용할 때보다 더 포괄적이고 신뢰할 수 있는 장애물 맵을 제공한다.
• 20cm 높이의 두 번째 레이저 스캔을 추가하면 상부 장애물 탐지가 더욱 향상되어, 다중 높이 레이저 융합의 잠재적 가능성을 시사한다.