[論文レビュー] Stereo Matching by Joint Global and Local Energy Minimization

Hongyang Xue, Deng Cai|arXiv (Cornell University)|Jan 15, 2016

Advanced Vision and Imaging参考文献 3被引用数 1

ひとこと要約

本稿では、ステレオマッチングにおけるグローバルな滑らかさと細部の保持の両方を同時に最適化するための連合エネルギー最小化フレームワークを提案する。平均場近似を用いて両モデルを統合することで、Middlebury v3ベンチマークにおいて二段階的手法よりも優れた視差推定精度と高速な推論を達成した。

ABSTRACT

In [18], Mozerov et al. propose to perform stereo matching as a two-step energy minimization problem. For the first step they solve a fully connected MRF model. And in the next step the marginal output is employed as the unary cost for a locally connected MRF model. In this paper we intend to combine the two steps of energy minimization in order to improve stereo matching results. We observe that the fully connected MRF leads to smoother disparity maps, while the locally connected MRF achieves superior results in fine-structured regions. Thus we propose to jointly solve the fully connected and locally connected models, taking both their advantages into account. The joint model is solved by mean field approximations. While remaining efficient, our joint model outperforms the two-step energy minimization approach in both time and estimation error on the Middlebury stereo benchmark v3.

研究の動機と目的

• グローバルおよびローカルエネルギーモデルを別々に最適化する二段階的手法の限界を克服すること。
• 完全接続型MRFの滑らかさの利点と、局所接続型MRFの細部保持能力を統合的なフレームワークで統合すること。
• 二段階処理ではなく、両モデルを同時に解くことで計算オーバーヘッドと推定誤差を低減すること。
• 特にテクスチャ領域やオクルージョン領域において、挑戦的なステレオベンチマークでの視差マップ品質を向上させること。

提案手法

• 完全接続型MRFおよび局所接続型MRFの両方の単一項項を組み合わせた連合エネルギー関数を定式化する。
• 連合エネルギー最小化問題を効率的に解くために平均場近似を用いる。
• 完全接続型MRFはグローバルな文脈と滑らかさを提供し、局所接続型MRFは局所的なテクスチャおよびエッジ詳細を捉える。
• 連合モデルの周辺分布出力を用いて視差推定を導出することで、二段階処理を回避する。
• 定量的比較のため、Middleburyステレオベンチマーク v3 を用いて連合モデルの学習および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 一つの最適化フレームワーク内でグローバルおよびローカルMRFを組み合わせることで、ステレオマッチングの精度が向上するか？
• RQ2 二段階手法と比較して、連合最適化は計算時間を短縮するか？
• RQ3 連合モデルは、個々のMRFと比較して、細部構造およびテクスチャ領域でどのように性能を発揮するか？
• RQ4 平均場近似は、連合エネルギー関数の複雑さを効果的に扱えるか？

主な発見

• Middlebury v3ステレオベンチマークにおいて、二段階手法と比較して推定誤差と推論時間の両面で連合モデルが優れている。
• グローバルMRFの成分のおかげで滑らかな視差マップが得られるとともに、ローカル接続性のおかげで細部が保持されている。
• 平均場近似により、精度を損なわずに連合モデルの最適化を効率的に行える。
• 従来のグローバルおよびローカルモデルの二段階処理と比較して、標準的なステレオマッチングベンチマークにおける誤差率が低減した。