[논문 리뷰] Displacement-Invariant Cost Computation for Efficient Stereo Matching

Yiran Zhong, Charles Loop외 8명|arXiv (Cornell University)|2020. 12. 01.

Advanced Vision and Imaging참고 문헌 32인용 수 7

한 줄 요약

이 논문은 4D 특징 볼륨이 필요 없도록, 시차 이동된 특징 쌍에 대해 2차원 컨볼루션을 적용하는 이동 불변 비용 계산 모듈을 제안한다. 이로 인해 실시간 스테레오 매칭이 100 FPS 이상으로 가능해지고 최신 기술 수준의 정확도를 달성한다. 이 방법은 직접적인 픽셀 간 매칭을 학습함으로써 의미적 맥락에 의존하지 않으며, 교차 데이터셋 일반화 능력이 뛰어나다.

ABSTRACT

Although deep learning-based methods have dominated stereo matching leaderboards by yielding unprecedented disparity accuracy, their inference time is typically slow, on the order of seconds for a pair of 540p images. The main reason is that the leading methods employ time-consuming 3D convolutions applied to a 4D feature volume. A common way to speed up the computation is to downsample the feature volume, but this loses high-frequency details. To overcome these challenges, we propose a \emph{displacement-invariant cost computation module} to compute the matching costs without needing a 4D feature volume. Rather, costs are computed by applying the same 2D convolution network on each disparity-shifted feature map pair independently. Unlike previous 2D convolution-based methods that simply perform context mapping between inputs and disparity maps, our proposed approach learns to match features between the two images. We also propose an entropy-based refinement strategy to refine the computed disparity map, which further improves speed by avoiding the need to compute a second disparity map on the right image. Extensive experiments on standard datasets (SceneFlow, KITTI, ETH3D, and Middlebury) demonstrate that our method achieves competitive accuracy with much less inference time. On typical image sizes, our method processes over 100 FPS on a desktop GPU, making our method suitable for time-critical applications such as autonomous driving. We also show that our approach generalizes well to unseen datasets, outperforming 4D-volumetric methods.

연구 동기 및 목표

• 4D 특징 볼륨에 의존하는 3D 컨볼루션 기반 스테레오 매칭 방법의 높은 계산 비용과 메모리 요구량을 해결하기 위해.
• 기존 2D 컨볼루션 기반 방법이 스테레오 이미지 간 직접적인 특징 매칭이 아닌 맥락 매핑에 의존하는 한계를 극복하기 위해.
• 자율주행과 같은 실시간 응용 프로그램에 적합한 실시간 추론(100+ FPS)을 가능하게 하되 정확도를 희생시키지 않기 위해.
• 3D 볼륨 모델이 학습하는 데이터셋 특화의 우연한 상관관계에 의존도를 줄임으로써 교차 데이터셋 일반화 능력을 향상시키기 위해.
• 오른쪽 이미지에 두 번째 시차 맵을 계산하지 않도록 하는 보정 전략을 개발하여 메모리 사용량과 추론 시간을 줄이기 위해.

제안 방법

• 4D 특징 볼륨을 명시적으로 구성하지 않고도, 각 시차 이동 특징 맵 쌍에 대해 동일한 2D 컨볼루션 네트워크를 독립적으로 적용하여 매칭 비용을 계산한다.
• 모든 시차 수준에서 일관된 비용 계산을 보장하기 위해 이동 불변 설계를 사용하여 효율적이고 파rameter 효율적인 학습을 가능하게 한다.
• 3D 비용 볼륨에서 유도된 엔트로피 맵을 신뢰도 맵으로 활용하여 시차 보정을 안내함으로써 오른쪽 시야의 시차 추정 필요성을 줄인다.
• 최종 시차 정확도를 최적화하기 위해, 비용 계산과 보정을 포함한 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 엔트로피 기반 신뢰도 맵을 사용해 오른쪽 이미지에서의 중복 계산을 방지함으로써 추론 속도와 효율성을 향상시킨다.
• 표준 데이터셋(Sce neFlow, KITTI, ETH3D, Middlebury)에서 학습하고, 미세조정 없이도 알려지지 않은 데이터셋에서 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 4D 특징 볼륨을 구성하지 않으면서도 2D 컨볼루션 기반 방법이 경쟁 가능한 스테레오 매칭 정확도를 달성할 수 있는가?
• RQ2 이동 불변 비용 계산 모듈은 3D 볼륨 기반 방법과 비교해 더 빠른 추론 속도를 제공하면서도 높은 정확도를 유지할 수 있는가?
• RQ3 제안된 방법은 3D 볼륨 모델이 학습하는 데이터셋 특화 편향에 의존하지 않아 더 나은 교차 데이터셋 일반화 성능을 보일 수 있는가?
• RQ4 무작위 점 스테레오그램(RDS)에 대해 강건한 성능을 보이는가? 이는 진정한 픽셀 간 매칭 능력이며 의미적 맥락에 의존하지 않는다는 것을 의미한다.
• RQ5 오른쪽 이미지에 두 번째 시차 맵을 계산할 필요 없이도 엔트로피 기반 신뢰도 맵이 효과적으로 시차 보정을 안내할 수 있는가?

주요 결과

• 데스크톱 GPU에서 540p 이미지에 대해 100 FPS 이상을 달성하며, 일반적으로 약 2 FPS로 동작하는 3D 컨볼루션 기반 방법보다 뚜렷이 빠르다.
• KITTI 2015 테스트 세트에서 EPE 1.70과 bad-1.0 42.35%를 기록하여 최신 기술 수준의 성능을 달성하거나 초월하며, 훨씬 더 빠른 속도를 제공한다.
• 교차 데이터셋 일반화 테스트에서, 3D 볼륨 기반 기준(Baseline3D)보다 Middlebury 2014 및 KITTI 2015 양쪽 모두에서 더 낮은 EPE와 bad-1.0 오차율을 기록한다.
• 무작위 점 스테레오그램(RDS) 데이터셋에서 EPE 1.02와 bad-1.0 5.45%를 기록하여 진정한 픽셀 간 매칭 능력을 입증한다. 반면, MADNet [19]는 EPE 51.21로 완전히 실패한다.
• 엔트로피 기반 보정 전략은 오른쪽 이미지에서 두 번째 시차 맵을 계산할 필요 없이 추론 시간과 메모리 사용량을 줄여준다.
• 모델은 알려지지 않은 데이터셋으로도 잘 일반화되며, 다양한 벤치마크에서 일관된 성능을 보이며, 데이터셋 특화의 잡음이 아닌 강건한 매칭 패턴을 학습하고 있음을 시사한다.