[논문 리뷰] Stereo Risk: A Continuous Modeling Approach to Stereo Matching

Ce Liu, Suryansh Kumar외 4명|arXiv (Cornell University)|2024. 07. 03.

Spectroscopy and Chemometric AnalysesChemistry인용 수 3

한 줄 요약

Stereo Risk는 스테레오 매칭을 위한 연속적 위험 최소화 프레임워크를 제안하며, 기존의 이산화된 디스parity 회귀를 $L^1$-노름 위험 최소화로 대체한다. 이는 카테고리적 디스파리티 분포에서 유도된 연속 확률 밀도 함수에 기반한다. 은닉 함수 정리에 기반한 미분 가능 최적화를 활용함으로써, KITTI, ETH3D, Middlebury 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 다중 모달성과 이상치에 민감한 디스파리티에서 정확도 향상을 이룬다.

ABSTRACT

We introduce Stereo Risk, a new deep-learning approach to solve the classical stereo-matching problem in computer vision. As it is well-known that stereo matching boils down to a per-pixel disparity estimation problem, the popular state-of-the-art stereo-matching approaches widely rely on regressing the scene disparity values, yet via discretization of scene disparity values. Such discretization often fails to capture the nuanced, continuous nature of scene depth. Stereo Risk departs from the conventional discretization approach by formulating the scene disparity as an optimal solution to a continuous risk minimization problem, hence the name "stereo risk". We demonstrate that $L^1$ minimization of the proposed continuous risk function enhances stereo-matching performance for deep networks, particularly for disparities with multi-modal probability distributions. Furthermore, to enable the end-to-end network training of the non-differentiable $L^1$ risk optimization, we exploited the implicit function theorem, ensuring a fully differentiable network. A comprehensive analysis demonstrates our method's theoretical soundness and superior performance over the state-of-the-art methods across various benchmark datasets, including KITTI 2012, KITTI 2015, ETH3D, SceneFlow, and Middlebury 2014.

연구 동기 및 목표

• 딥 스테레오 매칭에서 이산화된 디스파리티 분할의 한계를 해결함으로써 실제 세계의 깊이의 연속적 성격을 반영하지 못하는 문제를 해결한다.
• 다중 모달 디스파리티 분포와 이상치에 민감한 $L^2$ 기반 기대값 최소화의 문제를 해결한다.
• 이산 회귀나 후처리에 의존하지 않고, 연속적 디스파리티 예측이 가능한 미분 가능하고 종단 간 훈련이 가능한 프레임워크를 개발한다.
• 디스파리티를 연속적 위험 최소화 문제로 모델링하여 도메인 이동(예: 합성 데이터에서 실세계 데이터로)에 대한 일반화 능력을 향상시킨다.
• 실세계 스테레오 벤치마크에서 뛰어난 성능을 보이며, 경쟁적인 추론 속도와 파rameter 효율성을 유지한다.

제안 방법

• 디스파리티 예측이 연속 확률 밀도 함수에 대한 기대 $L^1$ 오차를 최소화하는 해가 되도록 스테레오 매칭을 연속적 위험 최소화 문제로 공식화한다.
• 스플라인 기반 보간을 사용해 이산적인 디스파리티 가설의 카테고리 분포를 연속 확률 밀도 함수로 구성한다.
• $L^1$-노름 위험 최소화를 적용하여 기대 절대 오차를 최소화하는 디스파리티 값을 찾으며, 다중 모달 분포에 대한 강건성을 향상시킨다.
• 비미분 가능 $L^1$ 최적화 단계를 통해 기울기를 역전파하기 위해 은닉 함수 정리를 활용함으로써 종단 간 훈련이 가능하게 한다.
• 추론 시 효율적으로 최적의 디스파리티 값을 계산하기 위해 이진 탐색 기반 알고리즘을 구현함으로써 계산 효율성을 확보한다.
• 기존 스테레오 네트워크에 통합 가능한 플러그인 레이어로 $L^1$ 위험 최소화 모듈을 구현하며, 추가 학습 가능한 파rameter가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 표준 이산 회귀나 기대값 기반 방법에 비해 연속적 위험 최소화 프레임워크가 스테레오 매칭 정확도를 향상시킬 수 있는가?
• RQ2 다중 모달 디스파리티 분포와 이상치를 다룰 때 $L^1$-노름 위험 최소화는 $L^2$ 기반 기대값 최소화보다 어떻게 비교되는가?
• RQ3 비연속성에도 불구하고 $L^1$ 기반 위험 최소화를 미분 가능하고 종단 간 훈련이 가능한가?
• RQ4 제안된 방법은 기존 최신 기술 수준의 접근법보다 도메인 이동(예: 합성에서 실세계 데이터로)에 더 잘 일반화되는가?
• RQ5 기존 SOTA 스테레오 네트워크에 비해 제안된 방법의 계산 및 파rameter 효율성은 어떠한가?

주요 결과

• Middlebury 2014 벤치마크에서, Stereo Risk는 >1px 오차를 기존 SOTA의 13.76%에서 12.63%로 감소시켜 정확도 향상과 고주파 수치 복원 능력을 입증한다.
• ETH3D에서, >0.5px 오차는 10.39%에서 8.59%로, >1px 오차는 4.05%에서 2.71%로 감소하여 강력한 일반화 능력과 도메인 이동에 대한 강건성을 보여준다.
• KITTI 2012에서, Stereo Risk는 5.82%의 >2px 오차와 3.84%의 Noc All 성능을 기록하며, 피팅 튜닝 없이 IGEV와 DLNR를 모두 초월한다.
• KITTI 2015에서, 메서드는 3.68%의 Noc All과 5.19%의 D1_all 성능을 달성하며, 추가 사전 훈련 없이 평가된 모든 방법 중 1위를 기록한다.
• 절단 실험 결과, 훈련 및 추론 시 모두 $L^1$-노름 위험 최소화를 사용할 경우 최고의 성능를 기록하며, 예측 헤드만 교체해도 동일한 성능 향상을 얻을 수 있다.
• 메서드는 경쟁적인 추론 속도를 유지하며, PCWNet, IGEV, DLNR보다 파arameter가 적고, 위험 모듈에 추가 학습 가능한 파arameter가 없어 효율성을 확보한다.