[논문 리뷰] On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach

Nikolai Smolyanskiy, A. Kamenev외 1명|arXiv (Cornell University)|2018. 03. 26.

Advanced Vision and Imaging참고 문헌 30인용 수 6

한 줄 요약

이 논문은 LIDAR와 광학 일致성 손실을 조합한 준지도 학습 딥 스테레오 신경망을 제안하여 고정밀 깊이 추정을 달성한다. 새로 개발한 머신러닝 기반 argmax 레이어와 맞춤형 런타임을 통해 효율적인 추론을 구현한다. KITTI 2015에서 높은 성능을 보이며, LIDAR가 놓치는 세부 구조를 복구하는 데 특히 뛰어나며, 임베디드 GPU에서 약 20 fps의 거의 실시간 추론을 달성한다.

ABSTRACT

We revisit the problem of visual depth estimation in the context of autonomous vehicles. Despite the progress on monocular depth estimation in recent years, we show that the gap between monocular and stereo depth accuracy remains large$-$a particularly relevant result due to the prevalent reliance upon monocular cameras by vehicles that are expected to be self-driving. We argue that the challenges of removing this gap are significant, owing to fundamental limitations of monocular vision. As a result, we focus our efforts on depth estimation by stereo. We propose a novel semi-supervised learning approach to training a deep stereo neural network, along with a novel architecture containing a machine-learned argmax layer and a custom runtime (that will be shared publicly) that enables a smaller version of our stereo DNN to run on an embedded GPU. Competitive results are shown on the KITTI 2015 stereo dataset. We also evaluate the recent progress of stereo algorithms by measuring the impact upon accuracy of various design criteria.

연구 동기 및 목표

• 자율주행 차량을 위한 단안과 스테레오 깊이 추정 간 지속적인 정확도 격차를 해소하기 위해.
• 단안 깊이의 근본적 한계, 즉 절대 깊이의 모호성과 척도가 없는 문제를 해결하기 위해.
• 실시간으로 작동하는 효율적인 스테레오 네트워크를 개발하여 임베디드 하드웨어에서 구동 가능하게 하여 자율주행 시스템에 통합하기 위해.
• 희박한 LIDAR와 광학 일치성을 활용한 준지도 학습을 통해 세부 구조 복구(예: 울타리 기둥)를 향상시키기 위해.
• 아키텍처 선택과 손실 함수의 영향을 스테레오 깊이 정확도에 대해 분석하기 위해.

제안 방법

• 새로운 준지도 학습 프레임워크는 스테레오 이미지 쌍에서의 광학 일치성 손실과 LIDAR 기반의 감독을 결합한다.
• 네트워크는 연결된 특징과 3차원 컨볼루션을 사용하여 이미지 쌍 전반에 걸친 차이를 모델링하는 비용 볼륨을 사용한다.
• 표준 argmax를 대체하여 더 부드러운 차이 지도를 생성하고 일반화 성능을 향상시키기 위해 머신러닝 기반 argmax 레이어를 도입한다.
• TensorRT와 cuDNN 기반의 맞춤형 런타임이 추론을 가속화하여, Jetson TX2와 같은 임베디드 GPU에서 실시간 성능을 달성한다.
• 효율성에 최적화된 아키텍처로, 더 작은 변종은 Titan XP에서 약 20 fps를 달성하고 Jetson TX2에서도 효율적인 추론이 가능하다.
• 실제 LIDAR 데이터와 스테레오 쌍의 광학 일치성 자료를 모두 활용하여 KITTI 2015 스테레오 벤치마크에서 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 LIDAR와 광학 일치성 손실을 조합한 준지도 학습이 단순 지도 학습 대비 스테레오 깊이 정확도를 크게 향상시킬 수 있는가?
• RQ2 표준 argmax에 비해 학습된 argmax 레이어가 차이 지도의 부드러움과 세부 구조 복구에 얼마나 기여하는가?
• RQ3 고정밀도를 유지하면서도 임베디드 GPU에서 효율적으로 배포 가능한 딥 스테레오 네트워크를 개발할 수 있는가?
• RQ4 비용 볼륨 구성 및 3차원 컨볼루션과 같은 아키텍처 선택이 최종 깊이 추정 정확도에 어떤 영향을 미치는가?
• RQ5 준지도 학습이 희박한 LIDAR가 자주 놓치는 세밀한 기하학적 구조(예: 울타리)의 복구를 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 준지도 학습 방법은 KITTI 2015 스테레오 벤치마크에서 경쟁력 있는 성능을 달성하며, 핵심 지표에서 최신 기술을 능가한다.
• 네트워크는 LIDAR와 다른 LIDAR 전용 모델이 자주 놓치는 세부 구조, 예를 들어 울타리 레일과 기둥을 복구한다.
• 맞춤형 TensorRT 기반 런타임을 사용해 Titan XP GPU에서 약 20 fps의 거의 실시간 추론을 달성한다.
• 맞춤형 런타임은 임베디드 하드웨어, 예를 들어 Jetson TX2에서 효율적인 추론을 가능하게 하며, 표준 TensorFlow 런타임으로는 이를 구현할 수 없다.
• 머신러닝 기반 argmax 레이어는 표준 argmax보다 더 부드러운 차이 지도를 생성하고 일반화 성능을 향상시킨다.
• 네트워크의 성능은 다양한 시점에서 뛰어나 차량, 자전거 기사, 건물, 나무, 도로 평면 등에 대해 정확한 깊이 추정을 수행하며, 텍스처가 낮은 영역(예: 흰색 트럭 내부)에서도 안정적이다.