[논문 리뷰] UnDEMoN 2.0: Improved Depth and Ego Motion Estimation through Deep Image Sampling

V. Madhu Babu, Swagat Kumar외 2명|arXiv (Cornell University)|2018. 11. 27.

Advanced Vision and Imaging참고 문헌 22인용 수 4

한 줄 요약

UnDEMoN 2.0은 깊이 이미지 샘플링 네트워크(DISNet)와 이중선형 샘플러를 통합하여 이미지 복원 정확도를 향상시킨 경량화된 개선된 단안 깊이 및 자가 운동 추정 네트워크를 제안한다. 이 하이브리드 접근 방식은 원래 UnDEMoN의 25%의 파라미터만을 사용하여 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 모델 크기를 줄이고 깊이 및 자세 추정 정확도를 크게 향상시킨다.

ABSTRACT

In this paper, we provide an improved version of UnDEMoN model for depth and ego motion estimation from monocular images. The improvement is achieved by combining the standard bi-linear sampler with a deep network based image sampling model (DIS-NET) to provide better image reconstruction capabilities on which the depth estimation accuracy depends in un-supervised learning models. While DIS-NET provides higher order regression and larger input search space, the bi-linear sampler provides geometric constraints necessary for reducing the size of the solution space for an ill-posed problem of this kind. This combination is shown to provide significant improvement in depth and pose estimation accuracy outperforming all existing state-of-the-art methods in this category. In addition, the modified network uses far less number of tunable parameters making it one of the lightest deep network model for depth estimation. The proposed model is labeled as "UnDEMoN 2.0" indicating an improvement over the existing UnDEMoN model. The efficacy of the proposed model is demonstrated through rigorous experimental analysis on the standard KITTI dataset.

연구 동기 및 목표

• 이미지 복원 능력을 향상시켜 비지도 단안 깊이 추정에서 깊이 및 자가 운동 추정 정확도를 향상시키는 것.
• 성능을 유지하거나 향상시키면서 모델 복잡도와 파라미터 수를 줄이는 것.
• 딥 러닝 기반 이미지 샘플링의 장점을 기하학적 제약을 가진 이중선형 샘플링과 융합하여 더 나은 일반화 능력을 확보하는 것.
• 비지도 깊이 추정의 부족한 해법 성격을 고려하여 고차수 회귀와 기하학적 사전 지식을 모두 활용하는 것.
• Eigen 분할을 사용한 KITTI 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는 뛰어난 성능을 입증하는 것.

제안 방법

• 전체 이미지 입력을 사용하여 이미지 복원을 위한 고차수 회귀를 수행하는 깊이 이미지 샘플링 네트워크(DISNet)를 도입하여 기존의 표준 이중선형 샘플링을 대체한다.
• DISNet과 이중선형 이미지 샘플러(BIS)를 결합하여 높은 정확도의 보간과 기하학적 제약을 동시에 활용함으로써, 해가 부족한 깊이 추정 문제의 해 공간을 줄인다.
• DispNet과 DISNet 양쪽 모두에 다중 척도 아키텍처를 사용하여 특징 표현과 복원 정밀도를 향상시킨다.
• 더 적은 층 수를 사용하는 경량 네트워크 설계를 통해 총 파라미터 수를 원래 UnDEMoN 모델의 25%로 줄인다.
• DISNet과 BIS의 복원 손실, 자세 일致성 손실, 깊이 정규화 손실을 조합하여 모델을 훈련시킨다.
• 예측된 깊이 및 자세를 기반으로 역방향 이미지 왜곡을 수행하여 원본 이미지를 재구성하고, 광학 일致성 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 이미지 샘플링 네트워크는 비지도 깊이 추정에서 표준 이중선형 샘플링보다 복원 정확도를 향상시킬 수 있는가?
• RQ2 딥 러닝 기반 이미지 샘플링과 기하학적으로 제약된 이중선형 샘플링을 융합하면 단독으로 사용할 경우보다 더 나은 깊이 및 자세 추정 성능을 달성할 수 있는가?
• RQ3 단안 깊이 추정에서 성능을 손상시키지 않고도 모델 파라미터 수를 크게 줄일 수 있는가?
• RQ4 제안된 방법은 KITTI 데이터셋에서 최신 기술 수준의 비지도 깊이 추정 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 이미지 복원에서 고차수 회귀를 사용할 경우 재구성 오차는 얼마나 감소하고 깊이 추정 정확도는 얼마나 향상되는가?

주요 결과

• UnDEMoN 2.0은 단안 깊이 및 자가 운동 추정에서 KITTI Eigen 분할 기준으로 최신 기술 수준의 성능을 달성하여 기존의 모든 비지도 방법을 능가한다.
• 학습 가능한 파라미터 수를 원래 UnDEMoN의 25%로 줄여 깊이 추정을 위한 가장 가벼운 딥 네트워크 중 하나가 되었다.
• DISNet과 이중선형 샘플링의 조합은 이미지 복원 오차를 감소시켜 깊이 및 자세 추정 정확도를 향상시켰다.
• KITTI 데이터셋에서 절대 상대 차이, 제곱 상대 차이, RMSE 선형, RMSE 로그, 임계값 지표 등에서 뛰어난 성능을 기록하였다.
• 그림 6의 정성적 결과는 UnDEMoN 2.0이 큰 운동이 있는 도전적인 장면에서 기존 최신 기술 수준의 방법들보다 더 선명하고 정확한 깊이 예측을 생성한다는 것을 보여준다.
• 구조적 유사도 지수(SSIM) 결과는 UnDEMoN 2.0에서 재구성된 이미지가 경쟁 모델의 것보다 인간의 시각적 인식에 더 가까운 것을 확인한다.