[論文レビュー] Continuous Stereo Matching using Local Expansion Moves.

Tatsunori Taniai, Yasuyuki Matsushita+2 more|arXiv (Cornell University)|Mar 28, 2016

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文では、局所的拡張移動を用いた連続ステレオマッチング手法を提案する—これは、局所化と空間的伝播を組み込んだ、グラフカットに基づく新たな移動生成スキームであり、従来の拡張移動を向上させるものである。大規模または連続的なラベル空間における効率的な最適化を可能にし、Middleburyベンチマークにおいて最先端のサブピクセル精度を達成し、先行する統合および信念伝播手法を上回る性能を発揮する。

ABSTRACT

We present an accurate and efficient stereo matching method using local expansion moves, a new move making scheme using graph cuts. The local expansion moves are presented as many alpha-expansions defined for small grid regions. The local expansion moves extend the traditional expansion moves by two ways: localization and spatial propagation. By localization, we use different candidate alpha-labels according to the locations of local alpha-expansions. By spatial propagation, we design our local alpha-expansions to propagate currently assigned labels for nearby regions. With this localization and spatial propagation, our method can efficiently infer Markov random field models with a huge or continuous label space using a randomized search scheme. Our local expansion move method has several advantages over previous approaches that are based on fusion moves or belief propagation; it produces submodular moves deriving a subproblem optimality; it helps find good, smooth, piecewise linear disparity maps; it is suitable for parallelization; it can use cost-volume filtering techniques for accelerating the matching cost computations. Our method is evaluated using the Middlebury stereo benchmark and shown to have the best performance in sub-pixel accuracy.

研究の動機と目的

• ステレオマッチングにおける、大規模または連続的な視差ラベル空間を有するマルコフ確率場の最適化という課題に対処すること。
• 従来の拡張移動を拡張する新たな移動生成スキームを導入することで、ステレオマッチングの効率性と正確性を向上させること。
• 局所的かつ空間的に伝播するアルファ拡張を通じて、サブモジュラーで最適化可能な部分問題を実現すること。
• コストボリュームフィルタリング技術を用いて、並列処理を可能とし、コスト計算を高速化すること。
• 計算的に効率的な方法で、高精度で滑らかで区分的線形な視差マップを生成すること。

提案手法

• 本手法は、小さなグリッド領域上で定義された複数のアルファ拡張として、局所的拡張移動を導入し、空間的文脈に基づいた局所的な候補ラベル選択を可能にする。
• 空間的伝播は、隣接領域に現在割り当てられたラベルを用いて、現在の局所的拡張におけるラベル選択をガイドすることで実装され、一貫性が向上する。
• 本手法は、マルコフ確率場最適化における大規模または連続的なラベル空間を効率的に探索するためのランダム化サーチスキームを採用する。
• 局所的拡張移動からサブモジュラー部分問題が導出され、各移動ステップで最適性が保証される。
• コスト計算の高速化を図るため、コストボリュームフィルタリング技術が統合され、全体の効率性が向上する。
• フレームワークは並列処理に強く適合しており、現代のハードウェア上でスケーラブルなパフォーマンスを実現できる。

実験結果

リサーチクエスチョン

• RQ1 拡張移動をどのように拡張すれば、ステレオマッチングにおける大規模または連続的な視差ラベル空間を効率的に処理できるか？
• RQ2 局所的かつ空間的に伝播するアルファ拡張は、グローバルな拡張移動と比較して、視差マップの品質と滑らかさを向上させられるか？
• RQ3 本手法は、統合移動や信念伝播手法と比較して、正確性と効率性の面でどの程度優れているか？
• RQ4 本手法のサブモジュラー構造は、計算効率を維持したまま、各移動ステップで最適性を保証できるか？
• RQ5 コストボリュームフィルタリングと並列処理の統合は、ステレオマッチングパイプラインの高速化にどの程度効果的か？

主な発見

• 提案手法は、Middleburyステレオベンチマークで最高のサブピクセル精度を達成し、既存の統合および信念伝播ベースの手法を上回る性能を発揮した。
• 局所的アルファ拡張の使用により、文脈に配慮したラベル選択が可能になり、滑らかでより正確な視差マップが得られた。
• 空間的伝播は、隣接領域間でのラベルの一貫性を顕著に向上させ、最終的な視差マップにおけるノイズやアーチファクトを低減した。
• 本手法のサブモジュラー移動構造により、各移動ステップが最適に解かれることが保証され、高品質な解への収束に寄与した。
• コストボリュームフィルタリングと並列処理の統合により、顕著な高速化が達成され、正確性に妥協が生じなかった。
• ランダム化サーチ戦略は、大規模または連続的なラベル空間を効果的に探索でき、実世界の応用に向けたスケーラビリティと実用性を実現した。