[논문 리뷰] ES-Net: An Efficient Stereo Matching Network

Zhengyu Huang, Theodore B. Norris외 1명|arXiv (Cornell University)|2021. 03. 05.

Advanced Vision and Imaging참고 문헌 45인용 수 9

한 줄 요약

ES-Net는 2D 컨볼루션과 워핑 기반 방법을 사용하여 다중 척도 비용 볼륨을 효율적으로 계산함으로써 높은 추론 속도를 유지하면서도 최신 기준 성능을 달성하는 경량 스테레오 매칭 네트워크입니다. ESNet-M와 함께 제안된 새로운 비지도 사전 학습 및 데이터셋 스케줄링 전략을 통해 비지도 학습을 통한 막힘 인식 훈련을 통해 성능을 추가로 향상시켰으며, Scene Flow, DrivingStereo, KITTI-2015 벤치마크에서 이전의 효율적인 방법들을 능가합니다.

ABSTRACT

Dense stereo matching with deep neural networks is of great interest to the research community. Existing stereo matching networks typically use slow and computationally expensive 3D convolutions to improve the performance, which is not friendly to real-world applications such as autonomous driving. In this paper, we propose the Efficient Stereo Network (ESNet), which achieves high performance and efficient inference at the same time. ESNet relies only on 2D convolution and computes multi-scale cost volume efficiently using a warping-based method to improve the performance in regions with fine-details. In addition, we address the matching ambiguity issue in the occluded region by proposing ESNet-M, a variant of ESNet that additionally estimates an occlusion mask without supervision. We further improve the network performance by proposing a new training scheme that includes dataset scheduling and unsupervised pre-training. Compared with other low-cost dense stereo depth estimation methods, our proposed approach achieves state-of-the-art performance on the Scene Flow [1], DrivingStereo [2], and KITTI-2015 dataset [3]. Our code will be made available.

연구 동기 및 목표

• 자율 주행과 같은 실시간 응용 분야에 적합한 높은 정확도와 낮은 계산 비용을 동시에 확보하는 스테레오 매칭 네트워크를 개발하는 것.
• 워핑 기반 방법을 통해 다중 척도 비용 볼륨을 효율적으로 계산하여 세밀한 디테일 영역에서의 성능 저하 문제를 해결하는 것.
• ESNet-M에서 비지도로 막힘 마스크 예측 모듈을 도입하여 막힘 영역에서의 매칭 모호성을 줄이는 것.
• 추론 시간을 늘리지 않고도 일반화 능력과 수렴 성능을 향상시키기 위해 비지도 사전 학습과 데이터셋 스케줄링 전략을 포함한 새로운 훈련 전략을 개발하는 것.
• 다양한 벤치마크 데이터셋에서 저비용의 밀도 있는 스테레오 깊이 추정 분야에서 새로운 최신 기준을 수립하는 것.

제안 방법

• ES-Net는 3D 컨볼루션을 피하기 위해 오직 2D 컨볼루션과 워핑 기반 메커니즘을 사용하여 다중 척도 비용 볼륨을 효율적으로 계산합니다.
• 다중 척도 특징 매칭 모듈은 특징 워핑을 통해 다양한 척도에서 비용 볼륨을 계산하여 세밀한 디테일 영역의 정확도를 향상시킵니다.
• ESNet-M은 비지도로 디스parity와 막힘 마스크를 동시에 예측함으로써 모호한 영역에서의 견고성을 향상시킵니다.
• 모델은 먼저 합성 데이터(예: Scene Flow)에서 사전 학습되고, 이후 실제 데이터셋(예: DrivingStereo, KITTI)에서 미세 조정되는 데이터셋 스케줄링 전략을 적용합니다.
• 다운스트림 데이터셋에서의 미세 조정 전에 Scene Flow에서 비지도 사전 학습을 수행하여 특징 표현력과 일반화 능력을 향상시킵니다.
• 다중 라운드 및 학습률 감소 전략을 사용하며, 스케줄된 데이터셋 혼합 기법을 통해 모델 수렴과 성능을 향상시킵니다.

실험 결과

연구 질문

• RQ1 오직 2D 컨볼루션을 사용하여 최신 기준의 정확도를 확보하면서도 높은 추론 속도를 유지할 수 있는가?
• RQ2 워핑 기반 방법이 세밀한 디테일 영역의 정확도 향상에 얼마나 효과적인가?
• RQ3 비지도 막힘 마스크 예측이 모호하고 막힌 영역에서의 디스파리 추정 성능을 향상시키는가?
• RQ4 비지도 사전 학습과 데이터셋 스케줄링 전략이 추론 시간을 늘리지 않고 성능 향상에 얼마나 기여하는가?
• RQ5 기본 훈련 방식에 비해 제안된 훈련 전략이 다양한 데이터셋에서 정확도와 일반화 능력 측면에서 어떻게 우월한가?

주요 결과

• KITTI-2015 벤치마크에서 ESNet-M은 D1-all 오차 2.42%를 기록하여 FADNet보다 14% 높은 정확도를 확보했으며, 5% 더 빠른 속도를 기록했습니다.
• ESNet-M는 iResNet-i2보다 2배 빠르고 PSMNet보다 11배 빠르며, 유사한 정확도를 확보함으로써 뛰어난 속도-정확도 트레이드오���을 입증했습니다.
• Scene Flow에서 ESNet-M은 D1-all 오차 1.81%를 기록하여 GA-Net의 성능을 따라가며 64배의 속도 향상을 달성했고, DeepPruner-Fast보다 정확도는 높고 4배 더 빠릅니다.
• 제안된 비지도 사전 학습 및 데이터셋 스케줄링 전략은 추론 시간을 늘리지 않고도 모델 정확도를 크게 향상시켰습니다.
• 정성적 결과 분석에서 ESNet-M는 더 높은 품질의 디스파리 맵과 더 나은 세밀한 디테일 보존, 정확한 막힘 마스크를 생성하는 것으로 나타났습니다.
• ESNet는 KITTI-2015에서 2.60%의 D1-all 오차를 기록했고, Scene Flow에서도 동일한 2.60%를 기록하여 합성 및 실제 세계 데이터셋 간에 뛰어난 일반화 능력을 입증했습니다.