[논문 리뷰] Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image

Fangchang Ma, Sertaç Karaman|arXiv (Cornell University)|2017. 09. 21.

Advanced Vision and Imaging참고 문헌 20인용 수 100

한 줄 요약

이 논문은 RGB 이미지와 희소 깊이 샘플의 조합으로 Dense depth를 예측하는 단일 딥 회귀 네트워크를 제시합니다. 100개의 깊이 샘플만으로도 NYU-Depth-v2 및 KITTI에서 RGB만 사용하는 방법에 비해 상당한 정확도 향상을 달성합니다.

ABSTRACT

We consider the problem of dense depth prediction from a sparse set of depth measurements and a single RGB image. Since depth estimation from monocular images alone is inherently ambiguous and unreliable, to attain a higher level of robustness and accuracy, we introduce additional sparse depth samples, which are either acquired with a low-resolution depth sensor or computed via visual Simultaneous Localization and Mapping (SLAM) algorithms. We propose the use of a single deep regression network to learn directly from the RGB-D raw data, and explore the impact of number of depth samples on prediction accuracy. Our experiments show that, compared to using only RGB images, the addition of 100 spatially random depth samples reduces the prediction root-mean-square error by 50% on the NYU-Depth-v2 indoor dataset. It also boosts the percentage of reliable prediction from 59% to 92% on the KITTI dataset. We demonstrate two applications of the proposed algorithm: a plug-in module in SLAM to convert sparse maps to dense maps, and super-resolution for LiDARs. Software and video demonstration are publicly available.

연구 동기 및 목표

• 저해상 센서나 SLAM 출력에서 RGB와 희소 깊이 샘플을 융합하여 강건한 깊이 추정 동기를 부여합니다.
• RGB-D 데이터를 입력으로 받아 Dense depth를 예측하는 단일 CNN 아키텍처를 제안합니다.
• 실 indoor NYU-Depth-v2와 outdoor KITTI 데이터셋에서 깊이 샘플의 수가 예측 정확도에 미치는 영향을 평가합니다.
• SLAM/VIO의 Dense 맵 보강 및 LiDAR 초해상도에서의 실용적 응용을 시연합니다.

제안 방법

• KITTI의 ResNet-18 기반 인코더와 NYU-Depth-v2의 ResNet-50 기반 인코더를 사용하고 4-업샘플 디코더(UpProj)를 사용한 CNN 아키텍처.
• m은 목표 샘플 수이고 n은 총 유효 깊이 픽셀인 Bernoulli 스킴을 사용하여 ground truth에 온라인 샘플링 희소 깊이로 학습합니다. p = m/n.
• 희소 포인트를 보존하기 위해 최근접 이웃 보간으로 스케일링, 회전, 색상 변이, 정규화, 뒤집기 등의 온라인 데이터 증가를 적용합니다.
• 기본 손실로 L1 손실을 사용합니다 (이상치에 비교적 강인하고 에지를 보존합니다).
• 성능을 최적화하기 위해 다른 업샘플링 모듈(DeConv, UpConv, UpProj)과 초기 레이어 컨볼루션(Conv, DepthWise, ChanDrop)을 비교합니다.

실험 결과

연구 질문

• RQ1 RGB 입력에 희소 깊이 샘플을 추가하면 RGB만으로 예측하는 경우에 비해 Dense depth 예측이 어떻게 향상됩니까?
• RQ2 희소 깊이 샘플의 수가 실내 및 실외 데이터셋의 예측 정확도에 어떤 영향을 줍니까?
• RQ3 RGB+sparse-depth 모델이 SLAM/VIO의 플러그인으로 작동하여 Dense 맵을 생성하고 LiDAR 초해상화를 가능하게 할 수 있습니까?
• RQ4 어떤 네트워크 설계 선택(인코더 타입, 업샘플링 방법, 초기 컨볼루션)이 최상의 깊이 예측 성능을 낳습니까?

주요 결과

• NYU-Depth-v2에서 100개의 희소 깊이 샘플을 추가하면 RGB 만 사용하는 경우와 비교하여 RMSE가 약 50% 감소합니다.
• KITTI에서 100개의 희소 깊이 샘플은 신뢰할 수 있는 예측을 59%에서 92%로 증가시킵니다.
• RGBd(RGB + 약 100개의 희소 깊이 샘플)는 RGB 또는 희소 깊이만으로의 예측보다 크게 우수하며, 200–1000 샘플은 포화될 때까지 계속 향상됩니다.
• NYU-Depth-v2의 경우 100샘플이 있는 RGBd는 RMSE 약 0.25m 및 REL 약 0.05를 달성하며 깊이 입력이 없는 RGB 기반 방법보다 상당히 우수합니다.
• KITTI의 경우 100 샘플이 있는 RGBd는 RMSE 약 3.5m 및 REL 약 0.07로 RGB 및 일부 융합 방법보다 우수하며 더 적은 깊이 샘플로도 성능이 향상됩니다.
• 이 방법은 Sparse SLAM/VIO 랜드마크와 LiDAR 초해상화를 사용하면서도 Dense 맵 재구성을 가능하게 합니다.