[논문 리뷰] Continuous Stereo Matching using Local Expansion Moves.

Tatsunori Taniai, Yasuyuki Matsushita외 2명|arXiv (Cornell University)|2016. 03. 28.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 국소적 확장 이동을 사용하는 연속 스테레오 매칭 방법을 제안한다 — 기존의 확장 이동을 국소화하고 공간적 전파를 통해 향상시킨 그래프 컷 기반의 이동 제작 기법이다. 이는 큰 또는 연속적인 레이블 공간에서의 효율적 최적화를 가능하게 하여, Middlebury 벤치마크에서 기존의 융합 및 신뢰도 전파 방법들을 능가하는 최신의 서브픽셀 정확도를 달성한다.

ABSTRACT

We present an accurate and efficient stereo matching method using local expansion moves, a new move making scheme using graph cuts. The local expansion moves are presented as many alpha-expansions defined for small grid regions. The local expansion moves extend the traditional expansion moves by two ways: localization and spatial propagation. By localization, we use different candidate alpha-labels according to the locations of local alpha-expansions. By spatial propagation, we design our local alpha-expansions to propagate currently assigned labels for nearby regions. With this localization and spatial propagation, our method can efficiently infer Markov random field models with a huge or continuous label space using a randomized search scheme. Our local expansion move method has several advantages over previous approaches that are based on fusion moves or belief propagation; it produces submodular moves deriving a subproblem optimality; it helps find good, smooth, piecewise linear disparity maps; it is suitable for parallelization; it can use cost-volume filtering techniques for accelerating the matching cost computations. Our method is evaluated using the Middlebury stereo benchmark and shown to have the best performance in sub-pixel accuracy.

연구 동기 및 목표

• 스테레오 매칭에서 큰 또는 연속적인 차이값 레이블 공간을 가진 마르코프 난수장의 최적화 문제를 해결하기 위해.
• 기존의 확장 이동을 확장한 새로운 이동 제작 기법을 도입하여 스테레오 매칭의 효율성과 정확도를 향상시키기 위해.
• 국소화되고 공간적으로 전파되는 알파-확장 기반으로 하위모듈성이며 최적화 가능한 부분문제를 가능하게 하기 위해.
• 비용-볼륨 필터링 기법을 활용하여 병렬 처리를 지원하고 비용 계산을 가속화하기 위해.
• 계산적으로 효율적인 방식으로 고정밀도, 부드럽고 조각별 선형적인 차이값 맵을 생성하기 위해.

제안 방법

• 이 방법은 작은 격자 영역에서 정의된 다중 알파-확장 기반의 국소적 확장 이동을 도입하여, 공간적 맥락을 바탕으로 국소화된 후보 레이블 선택을 가능하게 한다.
• 공간적 전파 방법은 이웃 영역의 현재 할당된 레이블을 사용하여 현재 국소적 확장에서의 레이블 선택을 안내함으로써 일관성을 향상시킨다.
• 마르코프 난수장 최적화에서 큰 또는 연속적인 레이블 공간을 효율적으로 탐색하기 위해 랜덤화된 검색 기법을 사용한다.
• 국소적 확장 이동에서 유도된 하위모듈성 부분문제들은 각 이동 단계에서 최적성을 보장한다.
• 비용 계산의 전체 효율성을 향상시키기 위해 비용-볼륨 필터링 기법을 통합한다.
• 프레임워크는 현대 하드웨어에서 확장 가능한 성능을 확보할 수 있도록 고도로 병렬 처리 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 확장 이동은 어떻게 큰 또는 연속적인 차이값 레이블 공간을 효율적으로 다룰 수 있는가?
• RQ2 국소화되고 공간적으로 전파되는 알파-확장은 전역적 확장 이동에 비해 차이값 맵의 품질과 부드러움을 향상시킬 수 있는가?
• RQ3 기존의 융합 이동이나 신뢰도 전파 방법에 비해 제안된 방법이 정확도와 효율성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 국소적 확장 이동의 하위모듈성은 각 이동 단계에서 최적성을 보장하면서도 계산 효율성을 유지할 수 있는가?
• RQ5 비용-볼륨 필터링과 병렬 처리의 통합은 스테레오 매칭 파이프라인의 가속화에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 Middlebury 스테레오 벤치마크에서 기존의 융합 및 신뢰도 전파 기반 방법들을 능가하는 최고의 서브픽셀 정확도를 달성한다.
• 국소적 알파-확장의 사용은 더 높은 맥락 인식 능력을 갖춘 레이블 선택을 가능하게 하여 더 매끄럽고 정확한 차이값 맵을 생성한다.
• 공간적 전파 기법은 이웃 영역 간의 레이블 일관성을 크게 향상시켜 최종 차이값 맵에서 노이즈와 아티팩트를 감소시킨다.
• 이 방법의 하위모듈성 기반 이동 구조는 각 이동 단계에서 최적해를 확보함으로써 고품질의 해에 수렴하는 데 기여한다.
• 비용-볼륨 필터링과 병렬 처리의 통합은 정확도를 훼손하지 않은 채 상당한 속도 향상을 이룬다.
• 랜덤화된 검색 전략은 큰 또는 연속적인 레이블 공간을 효과적으로 탐색하여 실생활 응용에 적합하고 확장 가능한 방법이 되도록 한다.