[논문 리뷰] Hierarchical Deep Stereo Matching on High-resolution Images

Gengshan Yang, Joshua Manela외 2명|arXiv (Cornell University)|2019. 12. 13.

Advanced Vision and Imaging참고 문헌 42인용 수 5

한 줄 요약

이 논문은 실시간 고해상도 시차 추정과 수요에 따라 인fer 가능한 능력을 갖춘 계층적 딥 스테레오 매칭 프레임워크를 제안한다. 3차원 특징 볼륨의 군집적 피라미드와 새로운 고해상도 합성 데이터셋을 활용하여, Middlebury-v3 및 KITTI-15에서 최신 기술 수준의 성능을 달성하면서도 근거리 물체에 대해 지연 시간을 30ms로 감소시켰다.

ABSTRACT

We explore the problem of real-time stereo matching on high-res imagery. Many state-of-the-art (SOTA) methods struggle to process high-res imagery because of memory constraints or speed limitations. To address this issue, we propose an end-to-end framework that searches for correspondences incrementally over a coarse-to-fine hierarchy. Because high-res stereo datasets are relatively rare, we introduce a dataset with high-res stereo pairs for both training and evaluation. Our approach achieved SOTA performance on Middlebury-v3 and KITTI-15 while running significantly faster than its competitors. The hierarchical design also naturally allows for anytime on-demand reports of disparity by capping intermediate coarse results, allowing us to accurately predict disparity for near-range structures with low latency (30ms). We demonstrate that the performance-vs-speed trade-off afforded by on-demand hierarchies may address sensing needs for time-critical applications such as autonomous driving.

연구 동기 및 목표

• 자율주행과 같은 안전이 중요한 애플리케이션에 필수적인 고해상도 이미지에서 실시간 스테레오 매칭의 과제를 해결한다.
• 계산 오버헤드로 인해 고해상도 스테레오 처리에 어려움을 겪는 기존 방법의 메모리 및 속도 제약을 극복한다.
• 중간 단계의 거친 결과를 제한함으로써 언제라도 수요에 따라 시차 보고를 가능하게 하여, 가까운 장애물 인식의 저지연 인식을 지원한다.
• 훈련 및 평가를 위한 고해상도 스테레오 데이터셋을 제공하여 이러한 벤치마크의 부족을 해결한다.
• 캘리브레이션 오차, 노출 변화, 조명 변화와 같은 실제 센서 변동성에 대한 강건성을 데이터 증강을 통해 향상시킨다.

제안 방법

• 고해상도 스테레오 이미지를 계층적 피라미드 형태의 3차원 특징 볼륨을 통해 처리하는 계층적 엔드 투 엔드 딥 러닝 프레임워크를 설계한다.
• 정렬된 고해상도 스테레오 쌍에서 다중 척도 기반 서술자를 추출하기 위해 고유한 ResNet 기반 '버터플라이' 인코더-디코더 네트워크를 사용한다.
• 에피포일 스캔라인을 따라 차이를 계산하여 각 척도에서 4차원 특징 볼륨을 구성하고, 메모리 사용량을 줄이기 위해 스트라이드된 3차원 합성곱을 적용한다.
• 각 특징 볼륨을 3차원 합성곱으로 디코딩하여 수요에 따라 시차 추정을 생성하고, 더 정밀한 척도와의 융합을 위해 결과를 업샘플링한다.
• 캘리브레이션 및 노출 오차에 대한 강건성을 향상시키기 위해 비대칭적인 데이터 증강 기법(예: y-시차 이동 및 색채 조정)을 도입한다.
• 도시 시뮬레이터에서 생성한 합성 고해상도 스테레오 데이터를 활용해 모델을 사전 훈련하고, 실제 세계의 캘리브레이션 오차를 증강하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 계층적 딥 스테레오 매칭 프레임워크는 실시간 추론 속도를 유지하면서도 고해상도 스테레오 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 합성 고해상도 스테레오 데이터는 딥 스테레오 매칭에서 일반화 및 강건성에 얼마나 기여하는가?
• RQ3 제안된 수요에 따라 시차 추정 기능은 근거리 물체 탐지의 지연 시간을 얼마나 효과적으로 줄이는가?
• RQ4 캘리브레이션 오차, 노출 변화, 조명 변화에 대한 모델의 강건성은 이전 방법과 비교해 어떻게 되는가?
• RQ5 거친 단계에서 정밀한 단계로의 처리 방식은 캘리브레이션 오차의 영향을 억제하고, 불완전한 조건에서도 시차 추정 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 HSM 모델은 Middlebury-v3 및 KITTI-15 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법보다 정확도와 속도 면에서 뛰어난 성능을 보였다.
• 모델은 근거리 구조물에 대해 최소 30ms 내로 시차를 보고하여 자율주행에 필수적인 저지연 깊이 감지 기능을 실현했다.
• Middlebury-v3에서 정확한 캘리브레이션 이미지에서는 평균 오차가 3.9px였고, 불완전한 캘리브레이션 이미지에서는 4.1px였으며, 캘리브레이션 오차 상황에서 오차율이 5.9% 증가했다.
• 노출 변화에 대해 모델은 오차율 평균 증가율이 8.2%에 그쳤고, ELAS-H 대비 44.2% 증가율에 비해 뛰어난 강건성을 보였다.
• 조명 변화 상황에서는 오차율이 131.1% 증가했지만, 이는 ELAS-H의 148.4% 증가율에 비해 우수했으며, 둘 다 심한 그림자 변화에는 어려움을 겪었다.
• 작은 카메라 가림 현상이 있는 상황에서도 모델은 정확한 시차 추정을 성공적으로 수행했으며, 이는 단일 이미지 및 맥락적 단서 덕분으로 추정된다. 이는 정성적 결과에서 확인할 수 있다.