[논문 리뷰] MVDepthNet: Real-time Multiview Depth Estimation Neural Network

Kaixuan Wang, Shaojie Shen|arXiv (Cornell University)|2018. 07. 23.

Advanced Vision and Imaging참고 문헌 3인용 수 4

한 줄 요약

MVDepthNet는 다중 영상-자세 쌍으로부터 비용 볼륨을 구성하여 카메라 파ameters나 시야 수에 관계없이 효율적이고 기하학적 지식을 반영한 깊이 예측을 가능하게 하는 실시간 컨볼루션 신경망이다. 이는 실시간 단일 시야 밀도 맵핑에서 최신 기술 수준의 정확도를 달성하며, DeMoN 및 FCRN와 같은 기존 방법보다 실내 및 실외 데이터셋 모두에서 무늬가 없는 영역과 반사 표면을 더 잘 처리하여 뛰어난 성능을 보인다.

ABSTRACT

Although deep neural networks have been widely applied to computer vision problems, extending them into multiview depth estimation is non-trivial. In this paper, we present MVDepthNet, a convolutional network to solve the depth estimation problem given several image-pose pairs from a localized monocular camera in neighbor viewpoints. Multiview observations are encoded in a cost volume and then combined with the reference image to estimate the depth map using an encoder-decoder network. By encoding the information from multiview observations into the cost volume, our method achieves real-time performance and the flexibility of traditional methods that can be applied regardless of the camera intrinsic parameters and the number of images. Geometric data augmentation is used to train MVDepthNet. We further apply MVDepthNet in a monocular dense mapping system that continuously estimates depth maps using a single localized moving camera. Experiments show that our method can generate depth maps efficiently and precisely.

연구 동기 및 목표

• 알려진 카메라 자세를 가진 다중 단일 시야에서의 깊이 추정을 위한 실시간, 엔드 투 엔드 학습 가능한 신경망 개발.
• 단일 시야 시스템에서의 임의의 에피포라 라인과 매개변수화된 삼각측량과 같은 다중시야 깊이 추정의 과제 해결.
• 구조적 재학습 없이도 다양한 카메라 내부 매개변수, 시야 수, 장면 유형 간의 일반화 가능성 확보.
• 무늬가 없는 영역, 반사 표 superficies, RGB-D의 한계를 넘는 장거리 깊이 추정에 대한 강인성 향상.
• 실시간 단일 시야 밀도 맵핑 시스템에 네트워크 통합을 통해 지속적인 깊이 추정 구현.

제안 방법

• MVDepthNet는 입력 영상-자세 쌍으로부터 다중시야 관측을 인코딩하여, 다양한 시야에서 잠재적인 깊이 가설을 표현하는 비용 볼륨을 구성한다.
• 비용 볼륨은 인코더-디코더 네트워크에 의해 처리되어 깊이 맵을 예측하며, 시야 간 직접적인 픽셀 매칭을 피한다.
• 기하학적 데이터 증강이 비용 볼륨과 진짜 깊이 맵에 적용되어 학습 중에 픽셀 단위 일致성을 유지한다.
• 카메라 자세와 내부 매개변수가 비용 볼륨에 인코딩되어 고정된 에피포라 제약 없이 삼각측량을 가능하게 한다.
• 깊이 맵에 대한 지도 학습 손실을 사용하여 네트워크를 엔드 투 엔드로 학습시키며, 제한된 실세계 데이터에 대한 일반화를 향상시키기 위해 증강 기법을 적용한다.
• 이 방법은 움직이는 카메라를 사용하여 지속적인 깊이 추정을 수행하는 단일 시야 밀도 맵핑 시스템에 통합된다.

실험 결과

연구 질문

• RQ1 알려진 자세를 가진 다중 단일 시야에서 실시간 깊이 추정을 수행할 수 있는 딥 러닝 모델은, 스테레오 캘리브레이션 없이도 가능할 수 있는가?
• RQ2 다양한 카메라 기준 거리와 내부 매개변수에서 신뢰할 수 있는 깊이 예측을 위해 다중시야 기하학적 제약을 신경망에 효과적으로 인코딩할 수 있는가?
• RQ3 제한된 실세계 데이터셋에서 학습할 경우 기하학적 데이터 증강이 픽셀 단위 일치성을 유지하고 일반화 성능을 향상시킬 수 있는가?
• RQ4 어려운 장면에서 RGB-D 카메라와 최신 기술 수준의 단일 시야 깊이 추정 방법에 비해 정확도와 강인성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 RGB-D 센서가 실패하는 경우, 무늬가 없는 영역, 반사 표면, 먼 거리의 물체에 대해 네트워크는 일반화가 가능한가?

주요 결과

• MVDepthNet는 표준 하드웨어에서 실시간 성능를 달성하여 단일 시야 밀도 맵핑 시스템에서 지속적인 깊이 추정을 가능하게 한다.
• TUM RGB-D 데이터셋에서 데스크 시퀀스에서 MVDepthNet은 평균 L1-rel 오차 0.109를 기록하여 VI-MEAN(0.623)과 REMODE(1.314)를 모두 초월한다.
• ICL-NUIM 데이터셋에서 xyz 시퀀스에서 MVDepthNet은 평균 L1-rel 오차 0.076를 기록하여 VI-MEAN(0.564)과 REMODE(0.801)를 모두 능가한다.
• MVDepthNet은 무늬가 없는 영역과 반사 표면에서도 깊이를 성공적으로 추정한다. 그 결과는 도식적으로 제시되었으며, RGB-D 카메라가 실패하는 영역(그림 1의 빨간 원으로 표시됨)을 잘 보여준다.
• 모든 테스트 시퀀스에서 MVDepthNet은 100%의 유효 깊이 추정 밀도를 달성했으며, VI-MEAN과 REMODE는 무늬가 없거나 운동 왜곡된 영역에서 실패하여 상당히 낮은 밀도를 보였다.
• MVDepthNet은 1D 정규화를 사용하는 VI-MEAN에서 흔히 발생하는 줄무늬 아티팩트를 줄였으며, 픽셀 분류 손실에 의존하는 DeepMVS보다 오염 영역 처리 능력이 뛰어나다.