[논문 리뷰] Stereo Matching by Joint Global and Local Energy Minimization

Hongyang Xue, Deng Cai|arXiv (Cornell University)|2016. 01. 15.

Advanced Vision and Imaging참고 문헌 3인용 수 1

한 줄 요약

이 논문은 스테레오 매칭에서 전역적인 부드러움을 위해 완전히 연결된 MRF와 세밀한 세부 사항을 유지하기 위해 局소적으로 연결된 MRF를 동시에 최적화하는 공동 에너지 최소화 프레임워크를 제안한다. 평균 장 근사법을 통해 두 모델을 통합함으로써, Middlebury v3 벤치마크에서 이중 단계 방법에 비해 향상된 차이율 추정 정확도와 더 빠른 추론을 달성한다.

ABSTRACT

In [18], Mozerov et al. propose to perform stereo matching as a two-step energy minimization problem. For the first step they solve a fully connected MRF model. And in the next step the marginal output is employed as the unary cost for a locally connected MRF model. In this paper we intend to combine the two steps of energy minimization in order to improve stereo matching results. We observe that the fully connected MRF leads to smoother disparity maps, while the locally connected MRF achieves superior results in fine-structured regions. Thus we propose to jointly solve the fully connected and locally connected models, taking both their advantages into account. The joint model is solved by mean field approximations. While remaining efficient, our joint model outperforms the two-step energy minimization approach in both time and estimation error on the Middlebury stereo benchmark v3.

연구 동기 및 목표

• 전체적으로와 국소적으로 에너지 모델을 별도로 최적화하는 순차적 이중 단계 스테레오 매칭 파이프라인의 한계를 극복하기 위해.
• 완전히 연결된 MRF의 부드러움 이점을 국소적으로 연결된 MRF의 세밀한 구조 유지 능력과 통합된 프레임워크 내에서 통합하기 위해.
• 순차적으로 처리하는 것 대신 두 모델을 동시에 해결하여 계산 오버헤드와 추정 오차를 줄이기 위해.
• 특히 무늬가 많고 가려진 영역에서 도전적인 스테레오 벤치마크에서 차이율 맵 품질을 향상시키기 위해.

제안 방법

• 완전히 연결된 MRF와 국소적으로 연결된 MRF의 단항 항을 조합한 공동 에너지 함수를 수립한다.
• 공동 에너지 최소화 문제를 효율적으로 해결하기 위해 평균 장 근사를 적용한다.
• 완전히 연결된 MRF는 전역적 맥락과 부드러움을 제공하고, 국소적으로 연결된 MRF는 국소 무늬와 에지 세부 정보를 포착한다.
• 공동 모델의 마진널 출력을 사용해 순차적 처리를 피하고 차이율 추정을 유도한다.
• 정량적 비교를 위해 정량적 비교를 위해 Middlebury 스테레오 벤치마크 v3를 사용하여 공동 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 단일 최적화 프레임워크 내에서 전역적 및 국소적 MRF를 조합하면 스테레오 매칭 정확도가 향상되는가?
• RQ2 공동 최적화는 순차적 이중 단계 방법에 비해 계산 시간을 단축시키는가?
• RQ3 공동 모델은 개별 MRF에 비해 세밀한 구조와 무늬가 많은 영역에서 어떻게 성능을 내는가?
• RQ4 평균 장 근사는 공동 에너지 함수의 복잡성을 효과적으로 다룰 수 있는가?

주요 결과

• 공동 모델은 Middlebury v3 스테레오 벤치마크에서 추정 오차와 추론 시간 양면에서 이중 단계 방법을 능가한다.
• 전역 MRF 구성 덕분에 더 부드러운 차이율 맵을 달성하면서도 국소 연결성 덕분에 세밀한 세부 사항을 유지한다.
• 평균 장 근사는 정확도를 손상시키지 않고 공동 모델의 효율적 최적화를 가능하게 한다.
• 제안된 방법은 순차적 전역 및 국소 모델 처리에 비해 표준 스테레오 매칭 벤치마크에서 오차율을 감소시킨다.