[논문 리뷰] Recurrent Neural Network for Learning DenseDepth and Ego-Motion from Video

Rui Wang, Jan‐Michael Frahm외 1명|arXiv (Cornell University)|2018. 05. 17.

Advanced Vision and Imaging참고 문헌 30인용 수 9

한 줄 요약

이 논문은 단일 영상에서 시간적 상관관계를 활용하여 조밀한 깊이 맵과 자가 운동을 동시에 추정하는 순환 신경망(RNN)인 DenseSLAMNet을 제안한다. 이 방법은 단일 및 이중 프레임 기반의 깊이 추정 모델보다 성능이 뛰어나며, 특히 큰 깊이에서 뛰어난 성능을 보이며, 동적인 조명과 변형 가능한 장면을 포함한 도전적인 데이터, 예를 들어 내 endoscopic 영상에서도 효과적으로 일반화된다.

ABSTRACT

Learning-based, single-view depth estimation often generalizes poorly to unseen datasets. While learning-based, two-frame depth estimation solves this problem to some extent by learning to match features across frames, it performs poorly at large depth where the uncertainty is high. There exists few learning-based, multi-view depth estimation methods. In this paper, we present a learning-based, multi-view dense depth map and ego-motion estimation method that uses Recurrent Neural Networks (RNN). Our model is designed for 3D reconstruction from video where the input frames are temporally correlated. It is generalizable to single- or two-view dense depth estimation. Compared to recent single- or two-view CNN-based depth estimation methods, our model leverages more views and achieves more accurate results, especially at large distances. Our method produces superior results to the state-of-the-art learning-based, single- or two-view depth estimation methods on both indoor and outdoor benchmark datasets. We also demonstrate that our method can even work on extremely difficult sequences, such as endoscopic video, where none of the assumptions (static scene, constant lighting, Lambertian reflection, etc.) from traditional 3D reconstruction methods hold.

연구 동기 및 목표

• 단일 및 이중 프레임 기반의 깊이 추정 기술의 한계를 해결하기 위해, 특히 큰 깊이에서의 성능 저하와 데이터셋 간 일반화 실패 문제를 해결하고자 한다.
• 정적 장면, 일정한 조도, 라운드 반사 표면을 가정하는 전통적인 3D 재구성 파이프라인의 단점을 극복하고자 한다.
• 단일 영상 시퀀스에서 조밀한 깊이와 카메라 운동을 동시에 추정하는 실시간, 엔드 투 엔드 학습 기반 방법을 개발하고자 한다.
• RNN을 활용해 다중 영상 프레임 간의 시간적 의존성을 명시적으로 모델링함으로써 깊이 추정 정확도를 향상시키고자 한다.
• 기존의 가정이 성립하지 않는 도전적인 실세계 데이터, 예를 들어 비라운드 반사 및 동적인 기하학적 구조를 가진 내 endoscopic 영상에서도 견고성을 입증하고자 한다.

제안 방법

• 핵심 아키텍처는 영상 프레임을 순차적으로 처리하는 순환 신경망(RNN)이며, 각 타임스텝에서 은닉 상태를 업데이트하여 시간적 맥락을 인코딩한다.
• 장기적 시간적 의존성을 유지하고 프레임 간 특징 표현을 향상시키기 위해 네트워크에 장기 기억 단기 기억(LSTM) 유닛을 통합한다.
• 감독 학습을 통해 각 입력 프레임에 대한 조밀한 깊이 맵과 카메라 자세를 동시에 예측하기 위해 엔드 투 엔드로 훈련한다.
• 이전 프레임의 은닉 상태를 현재 프레임 처리에 입력함으로써 시간 정보를 유지함으로써 다중 시점 추론이 가능해진다.
• 조밀한 깊이 예측을 향상시키기 위해 스위프 커넥션을 갖춘 U-Net 유사 인코더-디코더 구조를 사용한다.
• 모델은 KITTI 및 SUN3D와 같은 데이터셋의 영상 시퀀스를 사용해 훈련되며, 진짜 깊이 및 카메라 자세가 제공된다.

실험 결과

연구 질문

• RQ1 RNN 기반 아키텍처는 다중 영상 프레임의 시간적 정보를 효과적으로 활용하여 단일 또는 이중 프레임 방법을 초월해 조밀한 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 단순한 프레임 스택킹 대비 LSTM 사용이 깊이 추정 정확도 및 일반화 능력 측면에서 어떤 차이를 보이는가?
• RQ3 제안된 방법은 다른 해상도, 조도, 장면 역학을 가진 새로운 데이터셋에 일반화될 수 있는가?
• RQ4 비라운드 반사 및 동적인 기하학적 구조를 가진 내 endoscopic 영상과 같은 매우 도전적인 영상 시퀀스에서도 성능을 유지하는가?
• RQ5 최신의 학습 기반 접근법 대비, 대규모 거리에서의 깊이 정확도 향상 정도는 어느 정도인가?

주요 결과

• DenseSLAMNet는 실내(NYUDepthV2) 및 실외(Make3D) 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 기록했다. DeMoN 및 기타 CNN 기반 방법보다 뛰어난 성능을 보였다.
• NYUDepthV2 데이터셋에서 DenseSLAMNet는 Sc-inv 0.181, Abs-inv 0.071, Abs-rel 0.171을 달성했으며, DeMoN의 지표를 모두 상회했다.
• Make3D 데이터셋에서 DenseSLAMNet는 Sq-rel 2.404, Abs-rel 0.275, RMSE 6.476, log10 0.102를 기록했으며, 새로운 실외 환경에 대한 강력한 일반화 능력을 입증했다.
• 절단 실험 결과, LSTM 사용 시 성능이 단일 프레임 CNN(0.131) 및 스택드 프레임 CNN(0.144) 대비 뚜렷이 향상되었으며, Sc-inv가 0.112로 향상되어 시간적 모델링의 가치를 입증했다.
• 외부 환경에서 심지어 70미터까지의 깊이에서도 나무, 자동차, 기둥 등의 미세한 디테일을 유지한 고품질의 깊이 맵을 생성했다.
• 기존의 정적 장면 및 일정한 조도를 가정하는 방법이 실패하는 내 endoscopic 영상에서도 깊이 및 카메라 운동 추정에 성공했다.