[논문 리뷰] Cross-Scale Cost Aggregation for Stereo Matching

Kang Zhang, Yuqiang Fang외 4명|arXiv (Cornell University)|2014. 03. 03.

Advanced Vision and Imaging인용 수 35

한 줄 요약

이 논문은 기존의 cost aggregation 방법에 다중 척도 정보를 통합함으로써 스테레오 매칭 성능을 햖थ하는 일반적인 크로스 스케일 cost aggregation 프레임워크를 제안한다. cost aggregation를 상호 스케일 정규화 항을 가진 통합된 가중 최소 제곱 최적화 문제로 재정의함으로써, Middlebury, KITTI, New Tsukuba 등의 데이터셋에서 정확도와 강인성을 향상시키며, 상자 필터와 같은 단순한 필터를 사용할 때조차도 뚜렷한 성능 향상을 기록한다.

ABSTRACT

Human beings process stereoscopic correspondence across multiple scales. However, this bio-inspiration is ignored by state-of-the-art cost aggregation methods for dense stereo correspondence. In this paper, a generic cross-scale cost aggregation framework is proposed to allow multi-scale interaction in cost aggregation. We firstly reformulate cost aggregation from a unified optimization perspective and show that different cost aggregation methods essentially differ in the choices of similarity kernels. Then, an inter-scale regularizer is introduced into optimization and solving this new optimization problem leads to the proposed framework. Since the regularization term is independent of the similarity kernel, various cost aggregation methods can be integrated into the proposed general framework. We show that the cross-scale framework is important as it effectively and efficiently expands state-of-the-art cost aggregation methods and leads to significant improvements, when evaluated on Middlebury, KITTI and New Tsukuba datasets.

연구 동기 및 목표

• 현재 cost aggregation 방법이 가장 세밀한 스케일에서만 작동하여 인간의 스테레오 시각에서 관찰되는 다중 척도 처리를 忽略하는 한계를 해결하기 위해.
• 기존 방법을 수정하지 않고도 cost aggregation 내에서 크로스 스케일 상호작용을 가능하게 하는 일반화 가능한 프레임워크를 개발하기 위해.
• 통합 최적화 공식에 새로운 정규화 항을 도입하여 상하좌우 스케일 간의 일致성을 강제함으로써 disparity map 품질을 향상시키기 위해.
• Middlebury, KITTI, New Tsukuba와 같은 다양한 데이터셋에서 다양한 조건 하에서 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 유사도 커널을 사용하는 가중 최소 제곱(WLS) 최적화 문제로 다양한 cost aggregation 방법(예: 양방향 필터, 가이드드 필터, 비국소 필터 등)을 재정의한다.
• 이웃하는 스케일 간의 cost volume 간 일치성을 강제하기 위해 일반화된 티코노프 정규화 항을 도입한다.
• 스케일 내 cost aggregation와 스케일 간 정규화를 결합한 새로운 볼록 최적화 목표 함수를 제안하며, 이는 해석적으로 해결 가능하다.
• 기존 cost aggregation 방법의 원래 커널을 유지하면서 스케일 간 정규화를 추가함으로써 프레임워크에 통합한다.
• 데이터셋에 따라 강도 + 기울기 또는 Census 변환 cost 함수를 사용하여 cost volume을 계산한다.
• 닫힌 형식의 해를 사용하여 최적화 문제를 효율적으로 해결함으로써 실시간 또는 실시간에 가까운 성능을 달성한다.

실험 결과

연구 질문

• RQ1 cost aggregation에서의 다중 척도 상호작용이 스테레오 매칭 성능을 크게 향상시킬 수 있는가?
• RQ2 스케일 간 정규화가 기존 cost aggregation 방법의 강인성을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크가 단순한 필터부터 복잡한 필터에 이르기까지 다양한 cost aggregation 기법에 일반화되는가?
• RQ4 정확도와 세부 정보 유지 측면에서 스케일 내 및 스케일 간 정규화 간 최적의 균형은 무엇인가?
• RQ5 텍스처가 없는 영역과 복잡한 조명 조건을 가진 도전적인 데이터셋에서 프레임워크가 성능 향상에 기여하는가?

주요 결과

• 크로스 스케일 cost aggregation 프레임워크는 Middlebury, KITTI, New Tsukuba 데이터셋에서 테스트된 모든 방법에서 성능 향상을 크게 기록했다.
• 심지어 단순한 상자 필터(BOX)도 프레임워크와 조합할 경우 New Tsukuba에서 Out-All 오차율 14.40%를 기록하며, 이는 이와 같은 복잡한 방법을 사용하지 않은 경우보다도 뛰어난 성능을 보였다.
• S+GF 변형은 New Tsukuba에서 14.40%의 Out-All 오차율을 기록하여, 프레임워크가 고성능 방법조차도 향상시킬 수 있음을 입증했다.
• Middlebury에서 S+BOX 변형은 Avg-Noc 오차를 7.37 px에서 3.92 px로 감소시켜, 최소한의 계산 비용으로도 상당한 성능 향상을 보였다.
• 정규화 파라미터 λ는 성능에 결정적인 영향을 미치며, 스케일 간 일치성과 세부 정보 유지 간 최적의 균형을 이루는 데 중요하다.
• KITTI에서 테스트된 모든 방법(NL, ST, BF, GF)이 프레임워크를 통해 향상되었으며, 이는 프레임워크의 일반화 가능성과 다양한 스테레오 매칭 시나리오에서의 효과성을 확인한다.