[論文レビュー] Solving Dense Image Matching in Real-Time using Discrete-Continuous Optimization

Alexander Shekhovtsov, Christian Reinbacher+2 more|arXiv (Cornell University)|Jan 23, 2016

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、差分関数の差分（DC）による非凸正則化項を用いた一貫したエネルギー最小化フレームワークにおいて、大規模並列処理が可能な離散的最適化アルゴリズムと連続的最適化を統合したハイブリッド離散-連続最適化フレームワークを、リアルタイムな高密度画像マッチングに提案する。この手法により、ステレオマッチングおよびオプティカルフローの分野でGPU上でリアルタイム性能を達成する。

ABSTRACT

Dense image matching is a fundamental low-level problem in Computer Vision, which has received tremendous attention from both discrete and continuous optimization communities. The goal of this paper is to combine the advantages of discrete and continuous optimization in a coherent framework. We devise a model based on energy minimization, to be optimized by both discrete and continuous algorithms in a consistent way. In the discrete setting, we propose a novel optimization algorithm that can be massively parallelized. In the continuous setting we tackle the problem of non-convex regularizers by a formulation based on differences of convex functions. The resulting hybrid discrete-continuous algorithm can be efficiently accelerated by modern GPUs and we demonstrate its real-time performance for the applications of dense stereo matching and optical flow.

研究の動機と目的

• 高密度画像マッチングにおける離散的最適化と連続的最適化のギャップを埋めること。
• 高密度ステレオマッチングおよびオプティカルフロー応用におけるリアルタイム性能を実現すること。
• 離散的および連続的最適化を両立できる一貫したエネルギー最小化フレームワークの開発。
• 連続的最適化における非凸正則化項を差分関数（DC）の定式化により効果的に取り扱うこと。
• 実用的デプロイメントのためのGPU並列化によるアルゴリズムの高速化。

提案手法

• 本手法は、データ項および滑らかさ項を含むエネルギー最小化問題として高密度画像マッチングを定式化する。
• GPU上で大規模並列処理が可能な新しい離散的最適化アルゴリズムを設計する。
• 連続的設定では、非凸正則化項を差分関数（DC）プログラミングの定式化により取り扱う。
• 離散的および連続的ソルバを統合されたエネルギー最小化フレームワーク内に統合する。
• このフレームワークにより、離散的および連続的ドメイン間で一貫した最適化が可能になる。
• リアルタイム性能を達成するために、離散的ソルバにGPUアクセラレーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 統合された離散-連続最適化フレームワークは、リアルタイムな高密度画像マッチングを改善できるか？
• RQ2 連続的最適化において、非凸正則化項はどのように効果的に取り扱えるか？
• RQ3 この文脈において、離散的最適化はどの程度GPU並列化に適しているか？
• RQ4 ハイブリッドアプローチは、純粋な離散的または連続的手法に比べて速度および精度で優れるか？
• RQ5 本フレームワークを用いたステレオマッチングおよびオプティカルフローにおける実現可能なリアルタイム性能はどの程度か？

主な発見

• 提案されたハイブリッドアルゴリズムは、現代のGPU上で高密度ステレオマッチングおよびオプティカルフローの分野でリアルタイム性能を達成する。
• 離散的最適化コンponentは非常に並列化可能であり、GPU上で効率的に加速される。
• DCプログラミングの定式化により、連続的最適化における非凸正則化項の効果的取り扱いが可能になる。
• 統合されたフレームワークにより、離散的および連続的最適化ステップ間の一貫性が保証される。
• 本手法は、コンピュータビジョン分野におけるリアルタイム応用に実用的な速度を示す。
• 離散的および連続的最適化の統合により、高密度画像マッチングのための堅牢で効率的なソリューションが得られる。