[논문 리뷰] Depth from Monocular Images using a Semi-Parallel Deep Neural Network (SPDNN) Hybrid Architecture

Shabab Bazrafkan, Hossein Javidnia외 2명|arXiv (Cornell University)|2017. 03. 10.

Advanced Vision and Imaging참고 문헌 31인용 수 4

한 줄 요약

이 논문은 단일 영상에서의 깊이 추정 성능을 햖थ기 위해 공유된 특징 추출 레이어를 갖는 다수의 합성곱 신경망을 결합한 반-병렬 딥 뉴럴 네트워크(SPDNN) 하이브리드 아키텍처를 제안한다. 다양한 네트워크 브랜치에서 추출한 특징을 융합하고 그래프 기반 기법을 통해 최적화함으로써 SPDNN은 정확도를 향상시키며, 특히 세그멘테이션 데이터를 통합할 경우, 계산 중복을 줄이며 KITTI 데이터셋에서 스테레오 깊이 성능에 근접하는 성능을 달성한다.

ABSTRACT

Deep neural networks are applied to a wide range of problems in recent years. In this work, Convolutional Neural Network (CNN) is applied to the problem of determining the depth from a single camera image (monocular depth). Eight different networks are designed to perform depth estimation, each of them suitable for a feature level. Networks with different pooling sizes determine different feature levels. After designing a set of networks, these models may be combined into a single network topology using graph optimization techniques. This "Semi Parallel Deep Neural Network (SPDNN)" eliminates duplicated common network layers, and can be further optimized by retraining to achieve an improved model compared to the individual topologies. In this study, four SPDNN models are trained and have been evaluated at 2 stages on the KITTI dataset. The ground truth images in the first part of the experiment are provided by the benchmark, and for the second part, the ground truth images are the depth map results from applying a state-of-the-art stereo matching method. The results of this evaluation demonstrate that using post-processing techniques to refine the target of the network increases the accuracy of depth estimation on individual mono images. The second evaluation shows that using segmentation data alongside the original data as the input can improve the depth estimation results to a point where performance is comparable with stereo depth estimation. The computational time is also discussed in this study.

연구 동기 및 목표

• 단일 단일 영상에서의 깊이 추정 문제를 딥 러닝 기반으로 해결하기 위해.
• 다중 네트워크 브랜치 간의 특징 융합을 향상시키고 중복을 줄이는 하이브리드 신경망 아키텍처를 설계하기 위해.
• 후처리 및 세그멘테이션 데이터가 깊이 추정 정확도에 미치는 영향을 평가하기 위해.
• 중복된 레이어를 제거하고 효율성을 향상시키기 위해 그래프 기반 기법을 사용하여 네트워크 구조를 최적화하기 위해.
• SPDNN 모델의 성능을 개별 네트워크 및 최신 스테레오 방법과 비교하기 위해.

제안 방법

• 다양한 풀링 크기를 가진 여덟 개의 개별 CNN을 설계하여 단일 영상에서 다양한 수준의 특징을 추출한다.
• 공유된 하위 레이어에서 이러한 네트워크를 융합함으로써 반-병렬 아키텍처를 구성하고, 그래프 최적화를 통해 중복을 최소화한다.
• 융합 후 SPDNN 아키텍처를 재학습하여 일반화 능력과 정확도를 향상시킨다.
• 모델 평가를 두 단계로 수행한다: 첫 번째로 KITTI 벤치마크의 진짜 깊이 값을 사용하고, 두 번째로 최신 스테레오 매칭 방법으로부터 유도된 깊이 맵을 타겟으로 사용한다.
• 세그멘테이션 맵을 보조 입력으로 사용하여, 특히 구조적이고 객체 수준의 맥락에서 깊이 예측 성능을 향상시킨다.
• 최적화 후 추론 시간과 모델 복잡도를 측정하여 계산 효율성을 분석한다.

실험 결과

연구 질문

• RQ1 반-병렬 딥 뉴럴 네트워크 아키텍처는 중복을 줄이고 단일 영상 깊이 추정을 위한 특징 융합을 향상시킬 수 있는가?
• RQ2 네트워크 타겟을 스테레오 기반 깊이 맵으로 후처리하면 단일 영상에서의 깊이 예측 정확도에 어떤 영향을 미치는가?
• RQ3 RGB 입력과 함께 사용될 때 세그멘테이션 데이터가 깊이 추정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 SPDNN 아키텍처는 스테레오 기반 깊이 추정 방법과 비교해 유사한 성능을 달성하는가?
• RQ5 최적화된 SPDNN 모델은 단독 네트워크보다 계산 효율성이 높은가?

주요 결과

• SPDNN 모델은 최적화된 특징 융합과 중복 감소 덕분에 개별 네트워크 아키텍처보다 더 높은 깊이 추정 정확도를 달성한다.
• 스테레오 기반 깊이 맵을 사용해 네트워크 타겟을 후처리하면 단일 영상에서의 예측 정확도가 크게 향상된다.
• 세그멘테이션 데이터를 입력으로 사용할 경우 KITTI 데이터셋에서 스테레오 기반 깊이 추정 성능과 유사한 성능을 달성한다.
• 그래프 최적화를 통해 설계된 SPDNN 아키텍처는 중복된 레이어를 제거함으로써 계산 오버헤드를 줄이고 추론 효율성을 향상시킨다.
• 최종 재학습된 SPDNN 모델은 스테레오 데이터가 없는 환경에서 단일 영상 깊이 추정 분야에서 최신 기술 수준의 성능을 보여준다.
• 공유된 특징 학습과 하이브리드 아키텍처 설계를 통한 아키텍처 최적화가 깊이 추정 작업에 효과적임을 확인한다.