[논문 리뷰] Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network

Ali Amiri, Shing Yan Loo외 1명|arXiv (Cornell University)|2019. 05. 18.

Advanced Vision and Imaging참고 문헌 28인용 수 9

한 줄 요약

이 논문은 스테레오 복원에서의 좌우 일致성과 고품질의 레이저 레인지 센서(LiDAR) 깊이 맵을 활용한 딥 네트워크를 사용하여 반감독 학습 기반의 단안 깊이 추정 방법을 제안한다. 새로운 좌우 일치 손실을 통합하고 사전 처리된 LiDAR 데이터로 훈련함으로써, 원시 LiDAR 투영을 사용하는 방법에 비해 예측 오차를 크게 감소시켜 KITTI 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

There has been tremendous research progress in estimating the depth of a scene from a monocular camera image. Existing methods for single-image depth prediction are exclusively based on deep neural networks, and their training can be unsupervised using stereo image pairs, supervised using LiDAR point clouds, or semi-supervised using both stereo and LiDAR. In general, semi-supervised training is preferred as it does not suffer from the weaknesses of either supervised training, resulting from the difference in the cameras and the LiDARs field of view, or unsupervised training, resulting from the poor depth accuracy that can be recovered from a stereo pair. In this paper, we present our research in single image depth prediction using semi-supervised training that outperforms the state-of-the-art. We achieve this through a loss function that explicitly exploits left-right consistency in a stereo reconstruction, which has not been adopted in previous semi-supervised training. In addition, we describe the correct use of ground truth depth derived from LiDAR that can significantly reduce prediction error. The performance of our depth prediction model is evaluated on popular datasets, and the importance of each aspect of our semi-supervised training approach is demonstrated through experimental results. Our deep neural network model has been made publicly available.

연구 동기 및 목표

• 단일 이미지 깊이 추정 정확도를 향상시키기 위해 감독 학습(실제 LiDAR 기준값)과 비감독 학습(스테레오 복원)을 융합하는 것.
• 감독 학습 방법의 한계(카메라와 LiDAR 간 시야 불일치)와 비감독 학습 방법의 한계(스테레오 복원 오류로 인한 깊이 정확도 제한)를 해결하는 것.
• 원시 투영된 LiDAR 데이터가 아닌 사전 처리된 정제된 LiDAR 깊이 맵을 사용할 경우 모델 성능 향상이 뚜렷하게 향상됨을 입증하는 것.
• 반감독 학습에 좌우 일치 손실를 통합함으로써 깊이 추정 정확도를 향상시키고, 후처리 단계가 필요 없음을 보여주는 것.
• Monodepth 기반의 공개 가능한 딥 네트워크 모델을 배포하여 더 넓은 커뮤니티 활용을 촉진하는 것.

제안 방법

• 모델은 정제된 LiDAR 깊이 맵을 사용한 감독 학습과 스테레오 이미지 쌍을 사용한 비감독 학습을 융합한 반감독 학습 전략을 사용한다.
• 새로운 손실 함수가 도입되어 좌측 이미지에서 예측한 디스parity 맵이 우측 이미지에서 재구성된 디스파리와 일치하도록 보장한다.
• 네트워크 아키텍처는 Monodepth를 기반으로 하며, 역깊이 예측을 위한 단일 출력 헤드를 사용하고, 출력값을 0에서 1.0 사이로 제약하기 위해 시그모이드 활성화 함수를 적용한다.
• 학습은 Adam 옵timizer를 사용하고 학습률 스케줄링을 적용하며, 복원 손실, 좌우 일치 손실, 깊이 매끄러움 손실 간의 균형을 맞추기 위해 하이퍼파ram터를 조정한다.
• 모델은 공식 KITTI 깊이 맵과 정렬된 스테레오 쌍을 모두 사용하여 KITTI 데이터셋에서 훈련되며, 노이즈가 많은 LiDAR 투영 데이터의 선별적 필터링을 시행한다.
• 이 방법은 좌우 시야를 대칭적으로 처리하여 이전 비감독 방법에서 요구되던 후처리 단계가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 반감독 깊이 추정에 좌우 일치 손실를 통합할 경우 기존 방법에 비해 성능 향상이 이루어지는가?
• RQ2 LiDAR 기준값 선택(원시 투영 데이터 대비 사전 처리된 정제된 깊이 맵)이 모델 정확도에 어떤 영향을 미치는가?
• RQ3 스테레오 복원과 LiDAR 데이터를 융합한 반감독 접근법이 순수 감독 또는 비감독 기반 베이스라인을 초월할 수 있는가?
• RQ4 좌우 일치성은 특히 음영 영역이나 겹치지 않는 영역에서 얼마나 예측 오차를 감소시키는가?
• RQ5 제안된 방법은 실외 실생활 데이터셋에서 다양한 시점과 깊이 범위에 대해 안정적이고 일반화 가능한가?

주요 결과

• 제안된 방법은 KITTI Eigen 분할에서 최신 기준 반감독 방법 [20]을 초월하여 RMSE, RMSE_log, Abs Rel, Sq Rel 및 δ 임계값 등 대부분의 지표에서 뛰어난 성능을 달성한다.
• 정제된 LiDAR 깊이 맵으로 훈련할 경우 원시 투영된 LiDAR 데이터를 사용할 때보다 예측 오차가 크게 감소하였으며, 표 I에 나타나 있듯이 이는 이동 왜곡 아티팩트로 인한 큰 오차로 인해 발생한다.
• 좌우 일치 손실은 기준 비감독 모델 [6]에 비해 성능 향상을 보이며, 반감독 환경에서의 효과성을 입증한다.
• 모델은 KITTI 스테레오 2015 분할에서 최신 기준 성능을 달성하였으며, 정량적 결과는 대칭적 손실 형식의 유용성을 확인한다.
• 원시 LiDAR 투영 대비 정제된 깊이 맵 사용은 특히 LiDAR 커버리지가 열악하거나 음영 영역이 많은 지역에서 정확도 향상에 뚜렷한 기여를 한다.
• 이전 비감독 접근법에서 요구되던 추가 필터링을 피하기 위해 손실 함수에 대칭성을 도입함으로써 후처리 단계가 필요 없어졌다.