[논문 리뷰] StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction

Sameh Khamis, Sean Fanello외 4명|arXiv (Cornell University)|2018. 07. 24.

Advanced Vision and Imaging참고 문헌 43인용 수 13

한 줄 요약

StereoNet은 저해상도 비용 볼륨과 계층적 정밀 조정을 사용하여 실시간, 에지 인식 깊이 예측을 위한 엔드 투 엔드 딥 러닝 아키텍처를 도입한다. 서브픽셀 정밀도 매칭 및 색상 입력에 의해 유도된 학습된 에지 인식 업샘플링 함수를 활용함으로써, Titan X에서 60 fps의 추론을 달성하면서도 양질의 양자화 없는 시차 지도를 생성하여 실시간 응용 분야에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper presents StereoNet, the first end-to-end deep architecture for real-time stereo matching that runs at 60 fps on an NVidia Titan X, producing high-quality, edge-preserved, quantization-free disparity maps. A key insight of this paper is that the network achieves a sub-pixel matching precision than is a magnitude higher than those of traditional stereo matching approaches. This allows us to achieve real-time performance by using a very low resolution cost volume that encodes all the information needed to achieve high disparity precision. Spatial precision is achieved by employing a learned edge-aware upsampling function. Our model uses a Siamese network to extract features from the left and right image. A first estimate of the disparity is computed in a very low resolution cost volume, then hierarchically the model re-introduces high-frequency details through a learned upsampling function that uses compact pixel-to-pixel refinement networks. Leveraging color input as a guide, this function is capable of producing high-quality edge-aware output. We achieve compelling results on multiple benchmarks, showing how the proposed method offers extreme flexibility at an acceptable computational budget.

연구 동기 및 목표

• AR/VR 및 모바일 응용 분야에서 계산 자원이 제한된 환경에서도 고정밀도 시차 지도를 제공하는 실시간 스테레오 매칭을 가능하게 하기 위해.
• 고해상도 비용 볼륨에 의존하고 느린 최적화를 요구하는 전통적인 스테레오 매칭 방법의 계산 비효율성을 해결하기 위해.
• 이전의 딥 러닝 기반 스테레오 방법과 비교해 정확도를 유지하거나 향상시키면서 모델 복잡성과 추론 시간을 줄이기 위해.
• 색상 유도 업샘플링을 사용하여 에지를 유지하고 고주파 수준의 세부 정보를 복원하는 계층적 정밀 조정 메커니즘을 개발하기 위해.
• 서브픽셀 정밀도 매칭과 에지 인식 정밀 조정을 조합할 경우, 저해상도 비용 볼륨만으로도 고정밀도 깊이 예측이 충분히 가능하다는 것을 입증하기 위해.

제안 방법

• 네트워크는 왼쪽 및 오른쪽 스테레오 이미지에서 특징을 추출하기 위해 시아미즈 아키텍처를 사용한다.
• 비용 볼륨은 8배의 다운샘플링 요소로 저해상도로 구성되며, 서브픽셀 정밀도로 매칭 비용을 인코딩한다.
• 계층적 정밀 조정은 점진적으로 고주파 세부 정보를 복원하는 일련의 학습된 에지 인식 업샘플링 레이어를 통해 적용된다.
• 각 정밀 조정 단계는 색상 이미지에 의해 유도된 컴act한 픽셀 간 정밀 조정 네트워크를 사용하여 에지를 유지하고 블러링을 방지한다.
• 딥 네트워크의 높은 서브픽셀 매칭 정밀도를 활용하여, 전체 해상도 시차 지도를 얻기 위해 전체 해상도 비용 볼륨이 필요로 하지 않도록 한다.
• 전체 파이프라인은 엔드 투 엔드로 훈련되며, 최종 출력은 양자화 없는 시차 지도이다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 저해상도 비용 볼륨에서 고정밀도 깊이 예측을 가능하게 하는 데 충분한 서브픽셀 정밀도 매칭 성능을 달성할 수 있는가?
• RQ2 학습된 에지 인식 업샘플링이 전통적인 보간 또는 필터링을 대체하여 시차 지도의 미세한 구조를 유지할 수 있는가?
• RQ3 매우 저해상도 비용 볼륨을 사용할 경우, 이전 방법과 비교해 계산 비용을 크게 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 색상 유도 정밀 조정을 포함한 계층적 정밀 조정 전략이 실시간으로 고품질의 에지 유지 출력을 생성할 수 있는가?
• RQ5 감독 학습 데이터 부족이 성능에 미치는 영향은 어느 정도이며, 자기지도 학습이 이를 완화시킬 수 있는가?

주요 결과

• StereoNet은 NVIDIA Titan X에서 60 fps 추론을 달성하여 고품질 깊이 예측을 위한 첫 번째 실시간 엔드 투 엔드 스테레오 매칭 네트워크가 되었다.
• 네트워크는 1/30 픽셀 수준의 서브픽셀 매칭 정밀도를 달성하였으며, 이는 기존 스테레오 매칭 접근 방식보다 약 10배 높은 정밀도이다.
• KITTI 2012에서, StereoNet은 비교적 영역에서 EPE가 0.8, 모든 픽셀에서 0.9를 기록하였으며, 스테레오 쌍당 추론 시간은 단 0.015초였다.
• KITTI 2015에서, 전체 픽셀에 대해 EPE가 4.83%를 기록하였으며, MC-CNN 및 SGM-Net과 같은 기존 방법들보다 빠른 속도를 유지하면서도 경쟁 가능한 정확도를 확보하였다.
• 대부분의 추론 시간(38%)은 최종 정밀 조정 단계에서 전체 해상도에서 소요되며, 이는 정밀 조정 단계가 주요 계산 병목임을 시사한다.
• 반사 표면과 가림 영역에서는 성능이 열악한 편이었으며, 이는 훈련 데이터 부족과 인painting 메커니즘이 없기 때문이다.