[논문 리뷰] Unsupervised Learning of Monocular Depth Estimation with Bundle Adjustment, Super-Resolution and Clip Loss

Lipu Zhou, Jiamin Ye외 3명|arXiv (Cornell University)|2018. 12. 08.

Advanced Vision and Imaging참고 문헌 50인용 수 19

한 줄 요약

이 논문은 깊이 정확도를 향상시키기 위해 번들 조정(bundle adjustment), 슈퍼해상도(super-resolution), 그리고 CLIP 손실(clip loss)을 통합한 비지도 단안 깊이 추정 프레임워크를 제안한다. 장거리 기준선을 활용해 일련의 단안 프레임에서 카메라 자세와 깊이를 동시에 최적화하고, 고해상도 깊이 맵을 생성하기 위해 슈퍼해상도 네트워크를 사용하며, 움직이는 객체와 가림을 보완하기 위해 CLIP 손실을 적용함으로써, KITTI에서 최신 기술 수준(SOTA) 성능을 달성하여 이전의 비지도 단안 방법을 능가하고 스테레오 기반 방법에 가까이 다가섰다.

ABSTRACT

We present a novel unsupervised learning framework for single view depth estimation using monocular videos. It is well known in 3D vision that enlarging the baseline can increase the depth estimation accuracy, and jointly optimizing a set of camera poses and landmarks is essential. In previous monocular unsupervised learning frameworks, only part of the photometric and geometric constraints within a sequence are used as supervisory signals. This may result in a short baseline and overfitting. Besides, previous works generally estimate a low resolution depth from a low resolution impute image. The low resolution depth is then interpolated to recover the original resolution. This strategy may generate large errors on object boundaries, as the depth of background and foreground are mixed to yield the high resolution depth. In this paper, we introduce a bundle adjustment framework and a super-resolution network to solve the above two problems. In bundle adjustment, depths and poses of an image sequence are jointly optimized, which increases the baseline by establishing the relationship between farther frames. The super resolution network learns to estimate a high resolution depth from a low resolution image. Additionally, we introduce the clip loss to deal with moving objects and occlusion. Experimental results on the KITTI dataset show that the proposed algorithm outperforms the state-of-the-art unsupervised methods using monocular sequences, and achieves comparable or even better result compared to unsupervised methods using stereo sequences.

연구 동기 및 목표

• 비지도 단안과 스테레오 기반 깊이 추정 방법 간의 성능 격차를 좁히기 위해.
• 이전 비지도 단안 프레임워크에서의 짧은 기준선 제한을 극복하고 장거리 기하 제약 조건을 가능하게 하기 위해.
• 저해상도 깊이 추정과 이중선형 보간에 의해 유발되는 경계 아티팩트를 줄이기 위해.
• 지상 진술 없이도 움직이는 객체와 가림 현상에 대한 강인성을 향상시키기 위해.
• 학습 가능한 슈퍼해상도 네트워크를 사용해 저해상도 입력에서 고해상도 깊이 예측을 가능하게 하기 위해.

제안 방법

• 장거리 기준선을 확보하기 위해 일련의 단안 프레임에서 카메라 자세와 깊이 맵을 함께 최적화하는 번들 조정 프레임워크를 도입한다.
• 저해상도 입력에서 직접 고해상도 깊이 맵을 예측하기 위해 슈퍼해상도 네트워크를 학습시켜 보간 오차를 방지한다.
• 비연속 프레임 간의 사진학적 일관성과 깊이 일관성을 강제하기 위해 교차 시퀀스 기하 일관성 손실을 도입한다.
• 움직이는 객체와 가림으로 인한 고기울기 오차를 제한하기 위해 CLIP 손실 함수를 적용하여 학습을 방해하지 않도록 한다.
• 정적 환경를 가정한 사진학적 일관성에 기반해 시각 합성(view synthesis)을 감독 신호로 사용한다.
• 지상 진술이 필요 없이 사진학적, 기하학적, CLIP 손실의 조합을 사용해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 카메라 자세와 깊이를 함께 최적화하는 번들 조정 프레임워크가 비지도 단안 학습에서 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 이중선형 보간 대비 전용 슈퍼해상도 네트워크가 깊이 예측에서 경계 아티팩트를 줄이는 데 효과적인가?
• RQ3 CLIP 손실 함수가 비지도 깊이 학습에서 움직이는 객체와 가림으로 인한 성능 저하를 효과적으로 완화할 수 있는가?
• RQ4 단안 비지도 방법이 벤치마크 데이터셋에서 스테레오 기반 방법과 얼마나 유사한 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 해상도와 시점 특성이 다른 데이터셋에 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 KITTI 테스트 스플릿에서 평균 절대 오차(AbsRel) 0.139를 기록하여 이전 비지도 단안 방법인 GeoNet(0.155)과 DF-Net(0.150)을 능가했다.
• 상대 오차(Rel)는 1.057, 임계값 정확도(δ < 1.25)는 0.975를 기록하여 다양한 지표에서 뛰어난 성능을 입증했다.
• 절단 실험 결과, 슈퍼해상도 네트워크를 제거할 경우 경계 아티팩트가 심각하게 발생하고, CLIP 손실을 생략할 경우 동적 환경에 더 민감해지는 것으로 확인되었다.
• 번들 조정을 통한 교차 시퀀스 제약 조건이 효과적 기준선을 증가시켜 깊이 추정의 안정성과 정확도를 향상시켰다.
• Make3D 데이터셋에서 해상도 불일치에도 불구하고 모델이 잘 일반화되어 있어 강력한 도메인 전이 능력을 보였다.
• 스테레오 기반 비지도 방법과 비교해 성능이 유사하여 단안 학습 전략과 스테레오 학습 전략 간 격차를 크게 좁혔다.