[논문 리뷰] Solving Dense Image Matching in Real-Time using Discrete-Continuous Optimization

Alexander Shekhovtsov, Christian Reinbacher외 2명|arXiv (Cornell University)|2016. 01. 23.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 스테레오 매칭 및 옵티컬 플로우에 대해 GPU에서 실시간 성능을 달성하기 위해 다수의 병렬 처리가 가능한 이산 알고리즘과 차분-볼록 함수의 차분을 이용한 비볼록 정규화 항을 포함하는 혼합 이산-연속 최적화 프레임워크를 제안한다. 이 방법은 일관된 에너지 최소화 프레임워크 내에서 이산 및 연속 최적화를 통합함으로써 실시간 스테레오 매칭 및 옵티컬 플로우를 구현한다.

ABSTRACT

Dense image matching is a fundamental low-level problem in Computer Vision, which has received tremendous attention from both discrete and continuous optimization communities. The goal of this paper is to combine the advantages of discrete and continuous optimization in a coherent framework. We devise a model based on energy minimization, to be optimized by both discrete and continuous algorithms in a consistent way. In the discrete setting, we propose a novel optimization algorithm that can be massively parallelized. In the continuous setting we tackle the problem of non-convex regularizers by a formulation based on differences of convex functions. The resulting hybrid discrete-continuous algorithm can be efficiently accelerated by modern GPUs and we demonstrate its real-time performance for the applications of dense stereo matching and optical flow.

연구 동기 및 목표

• 밀도 있는 이미지 매칭에서 이산 최적화와 연속 최적화 간 격차를 메우기 위해.
• 밀도 있는 스테레오 매칭 및 옵티컬 플로우 응용 분야에서 실시간 성능을 가능하게 하기 위해.
• 이산 및 연속 최적화를 모두 지원하는 일관된 에너지 최소화 프레임워크를 개발하기 위해.
• 비볼록 정규화 항을 차분-볼록(정규화) 공식을 통해 연속 최적화에서 효과적으로 다루기 위해.
• 실제 구현을 위해 GPU 병렬 처리를 통해 알고리즘을 가속화하기 위해.

제안 방법

• 밀도 있는 이미지 매칭을 데이터 항과 부드러움 항을 포함하는 에너지 최소화 문제로 공식화한다.
• GPU에서의 다수 병렬 처리를 위해 새로운 이산 최적화 알고리즘을 설계한다.
• 연속 설정에서는 비볼록 정규화 항을 차분-볼록(DC) 프로그래밍 공식을 통해 처리한다.
• 이산 및 연속 최적화 솔버를 통합된 에너지 최소화 프레임워크 내에 통합한다.
• 이 프레임워크는 이산 및 연속 영역 간 일관된 최적화를 가능하게 한다.
• 실시간 성능 달성을 위해 이산 솔버에 GPU 가속을 적용한다.

실험 결과

연구 질문

• RQ1 통합된 이산-연속 최적화 프레임워크가 실시간 밀도 있는 이미지 매칭을 향상시킬 수 있는가?
• RQ2 밀도 있는 매칭에 있어 연속 최적화에서 비볼록 정규화 항을 어떻게 효과적으로 다룰 수 있는가?
• RQ3 이 맥락에서 이산 최적화는 어느 정도로 GPU 가속을 위한 병렬 처리가 가능할 수 있는가?
• RQ4 하이브리드 접근 방식이 순수 이산 또는 연속 방법보다 속도와 정확도 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 이 프레임워크를 사용할 경우 스테레오 매칭 및 옵티컬 플로우에 대해 실시간 성능를 얼마나 달성할 수 있는가?

주요 결과

• 제안된 하이브리드 알고리즘이 현대 GPU에서 밀도 있는 스테레오 매칭 및 옵티컬 플로우에 대해 실시간 성능을 달성한다.
• 이산 최적화 구성 요소는 매우 병렬 처리가 가능하며 GPU에서 효율적으로 가속화된다.
• DC 프로그래밍 공식은 연속 최적화에서 비볼록 정규화 항을 효과적으로 다룰 수 있도록 한다.
• 통합된 프레임워크는 이산 및 연속 최적화 단계 간의 일관성을 보장한다.
• 이 방법은 컴퓨터 비전 분야의 실시간 응용 분야에 적합한 실용적인 속도를 보여준다.
• 이산 및 연속 최적화의 통합은 밀도 있는 이미지 매칭에 대해 강력하고 효율적인 솔루션을 이끈다.