[논문 리뷰] Learning Depth with Convolutional Spatial Propagation Network

Xinjing Cheng, Peng Wang외 1명|arXiv (Cornell University)|2018. 10. 04.

Advanced Vision and Imaging참고 문헌 96인용 수 37

한 줄 요약

이 논문은 깊이 추정을 위한 공간적 유사도를 학습하는 데 Recurrent Convolutional Operations를 사용하는 빠르고 정확한 선형 전파 모델인 Convolutional Spatial Propagation Networks (CSPN)를 제안한다. 최신 네트워크에 CSPN을 통합함으로써, NYUv2와 KITTI에서 깊이 보완 작업에서 30% 이상의 오차 감소를 달성하였으며, KITTI 스테레오 2012 및 2015 벤치마크에서 1위를 기록하였고, 이는 이전의 공간 전파 네트워크 대비 2–5배의 속도 향상 효과를 보였다.

ABSTRACT

Depth prediction is one of the fundamental problems in computer vision. In this paper, we propose a simple yet effective convolutional spatial propagation network (CSPN) to learn the affinity matrix for various depth estimation tasks. Specifically, it is an efficient linear propagation model, in which the propagation is performed with a manner of recurrent convolutional operation, and the affinity among neighboring pixels is learned through a deep convolutional neural network (CNN). We can append this module to any output from a state-of-the-art (SOTA) depth estimation networks to improve their performances. In practice, we further extend CSPN in two aspects: 1) take sparse depth map as additional input, which is useful for the task of depth completion; 2) similar to commonly used 3D convolution operation in CNNs, we propose 3D CSPN to handle features with one additional dimension, which is effective in the task of stereo matching using 3D cost volume. For the tasks of sparse to dense, a.k.a depth completion. We experimented the proposed CPSN conjunct algorithms over the popular NYU v2 and KITTI datasets, where we show that our proposed algorithms not only produce high quality (e.g., 30% more reduction in depth error), but also run faster (e.g., 2 to 5x faster) than previous SOTA spatial propagation network. We also evaluated our stereo matching algorithm on the Scene Flow and KITTI Stereo datasets, and rank 1st on both the KITTI Stereo 2012 and 2015 benchmarks, which demonstrates the effectiveness of the proposed module. The code of CSPN proposed in this work will be released at https://github.com/XinJCheng/CSPN.

연구 동기 및 목표

• SPN과 같은 순차적이고 순서에 의존하는 깊이 보정 방법의 한계를 해결하기 위해, 이는 느린 추론 속도와 이미지 구조와의 낮은 정렬성으로 인해 악영향을 미친다.
• 스parser depth 샘플을 유지하면서 국소적 및 전역적 장면 일관성을 향상시키는 병렬적이고 효율적이며 안정적인 깊이 전파 메커니즘을 개발하기 위해.
• 특히 다중 척도 특징의 적응형 융합과 희박한 감독을 통해 기존의 딥 네트워크와 CSPN을 통합하여 깊이 보완 및 스테레오 매칭을 향상시키기 위해.
• 스테레오 매칭에서의 비디오 디스parity 및 스케일 공간을 다룰 수 있도록 3D로 확장된 CSPN을 제안하여 더 나은 맥락 모델링과 세부 정보 복원을 가능하게 하기 위해.
• 학습된 데이터 기반의 유사도 학습이 깊이 추정 작업에서 수작업 또는 고정된 유사도 모델보다 우수한 성능을 내는지 입증하기 위해.

제안 방법

• CSPN는 깊이 CNN에서 유도된 학습된 유사도 행렬을 사용하여 모든 픽셀에 동시에 반복적인 컨볼루션 업데이트를 수행함으로써 병렬적이고 안정적인 깊이 전파를 가능하게 한다.
• 전파 과정에서 희박한 입력 포인트의 값을 명시적으로 유지함으로써 희박한 깊이 감독을 통합함으로써 신뢰할 수 있는 LiDAR 유사 측정치를 유지한다.
• 스테레오 매칭을 위해 3D 컨볼루션을 사용하여 공간, 디스파리티 및 스케일 차원을 모두 통한 전파를 허용하는 3DCSPN이라는 3D 변형 CSPN을 도입한다.
• 2D CSPN과 확장된 컨볼루션, 특징 융합을 결합한 강화된 공간 피ラ미드 풀링 모듈인 CSPF를 제안하여 맥락 모델링과 특징 표현을 향상시킨다.
• 이 프레임워크는 모듈식이며, PSMNet나 Ma 등 [10]의 네트워크와 같은 어떤 백본 네트워크와도 스택하여 엔드 투 엔드 학습이 가능하다.
• 깊이 보완에서 구조적 세부 정보의 특징 학습을 향상시키기 위해 초기 네트워크에 미러 연결 모듈을 추가한다.

실험 결과

연구 질문

• RQ1 학습된 병렬 공간 전파 메커니즘이 SPN과 같은 순차적 스캔 라인 기반 방법보다 깊이 추정 속도와 정확도에서 뛰어나지 않는가?
• RQ2 전파 과정에서 희박한 깊이 샘플을 어떻게 효과적으로 유지할 수 있을까? 이는 센서 신뢰성 유지를 유지하면서도 조밀한 예측 성능을 향상시킬 수 있다.
• RQ3 3D CSPN은 공간, 디스파리티 및 스케일 공간을 모두 고려한 맥락 모델링을 통해 스테레오 매칭 성능을 얼마나 향상시킬 수 있는가?
• RQ4 CSPN을 공간 피라미드 풀링 및 다중 척도 특징 융합과 통합하면 다양한 깊이 추정 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ5 제안된 모듈은 깊이 보완 및 스테레오 매칭과 같은 다양한 깊이 추정 작업에 대해 최소한의 아키텍처 변경으로도 일반화 가능한가?

주요 결과

• 제안된 CSPN는 병렬 업데이트 메커니즘 덕분에 실질적으로 SPN 대비 2–5배의 속도 향상을 보였으며, 정확도 손실 없이도 성능을 유지한다.
• NYUv2 데이터셋에서, 이 방법은 기준 모델 대비 깊이 오차를 30% 이상 감소시켰고, 구조적 정렬성과 세부 정보 복원 능력이 크게 향상되었다.
• KITTI 스테레오 2012 및 2015 벤치마크에서 이 방법은 모든 주요 지표에서 다른 최신 기술 방법들보다 10% 이상의 격차를 확보하며 1위를 기록하였다.
• 절단 분석 결과, 3DCSPN과 강화된 SPP 모듈(ACSPF)을 조합하면 최고의 성능을 내며, Scene Flow에서 EPE 오차를 0.971에서 0.902로 감소시켰다.
• 기본 PSMNet에 CSPN을 통합함으로써 KITTI 2015에서 D1 오차율이 원래 방법 대비 30% 이상 감소하였다.
• 정성적 결과에서는 CSPN이 더 선명한 깊이 맵을 생성하며, 특히 점선 상자로 강조된 어려운 영역에서 객체 경계에 더 잘 맞고 더 세밀한 세부 정보를 보여주었다.