[論文レビュー] Continuous Markov Random Fields for Robust Stereo Estimation

Koichiro Yamaguchi, Tamir Hazan+2 more|arXiv (Cornell University)|Apr 6, 2012

Advanced Vision and Imaging参考文献 1被引用数 8

ひとこと要約

本稿では、傾斜した3次元平面と境界ラベルを用いて、深度とオクルージョン境界を同時に推定するハイブリッド連続離散型マルコフ連鎖場（MRF）モデルを提案する。粒子凸型信念伝播（PCBP）を用いた推論により、2.5分未塔の画像あたりの推論時間で、高解像度のMiddleburyおよびKITTIデータセットにおいて、従来の傾斜平面MRF手法よりも顕著に精度と効率性に優れた最先端の性能を達成した。

ABSTRACT

In this paper we present a novel slanted-plane MRF model which reasons jointly about occlusion boundaries as well as depth. We formulate the problem as the one of inference in a hybrid MRF composed of both continuous (i.e., slanted 3D planes) and discrete (i.e., occlusion boundaries) random variables. This allows us to define potentials encoding the ownership of the pixels that compose the boundary between segments, as well as potentials encoding which junctions are physically possible. Our approach outperforms the state-of-the-art on Middlebury high resolution imagery as well as in the more challenging KITTI dataset, while being more efficient than existing slanted plane MRF-based methods, taking on average 2 minutes to perform inference on high resolution imagery.

研究の動機と目的

• 既存の傾斜平面MRFに基づくステレオ推定手法における計算の非効率性とオクルージョンの推論能力の制限を解決すること。
• 連続変数（深度）と離散変数（オクルージョン境界）を統合的にモデル化するフレームワークを用いて、ステレオ深度推定の精度を向上させること。
• 連続変数の固定量子化を回避する粒子手法を活用することで、高解像度画像における効率的な推論を可能にすること。
• 接合部ポテンシャルを用いて、セグメント境界での一貫性あるラベル付けを強制することで、物理的に妥当な制約を組み込むこと。
• 実用的な推論時間で、Middlebury や KITTI のような困難なデータセットにおいて最先端の性能を示すこと。

提案手法

• ステレオ推定を、連続変数（傾斜した3次元平面）と離散変数（オクルージョン境界ラベル）を含むハイブリッドMRFにおける推論問題として定式化する。
• セグメント境界におけるピクセルの所有関係を表現するための「境界ラベル」を導入し、左オクルージョン、右オクルージョン、へっぷり、同一平面接合を区別する。
• 接合部ポテンシャルを導入し、セグメント接合部における境界ラベルの有効な組み合わせを制限することで、物理的整合性を強制する。
• 連続パrameter空間の正確な探索を可能にするために、粒子凸型信念伝播（PCBP）を推論に用いる。
• プライマル・デュアル最適化フレームワークを用いてモデルポテンシャルを学習し、学習データとして半グローバルマッチングの差分を用いる。
• リサンプリングと粒子ベースの近似を用いて、推論の精度と実行時間のバランスを図り、高解像度画像において2.5分未塔で収束する。

実験結果

リサーチクエスチョン

• RQ1 連続的深度平面と離散的オクルージョン境界の共同推論は、ステレオ推定の精度を向上させ得るか？
• RQ2 粒子ベースの推論は、高解像度ステレオ画像において、妥当な実行時間で高い性能を達成できるか？
• RQ3 接合部ポテンシャルと境界ラベルの導入は、物理的に妥当なシーン構造のモデリングをどのように改善するか？
• RQ4 提案手法は、ベンチマークデータセットにおいて、既存の傾斜平面MRF手法をどの程度上回るか？
• RQ5 ノイズや学習データサイズの変動に対して、本手法はどの程度頑健か？

主な発見

• 本手法は、高解像度のMiddleburyデータセットにおいて、従来の傾斜平面MRF手法を上回る最先端の性能を達成した。
• より困難なKITTIデータセットにおいても、2.5分未塔の推論時間で最先端の結果を達成した。
• リサンプリングを2回実行するだけで、良い局所最適解に収束し、高解像度画像における推論時間を5.5分から2.2分に短縮した。
• 単一の学習画像設定でも、すべてのベースラインを上回る性能を示し、強力な一般化能力と頑健な学習能力を示した。
• オラクル性能分析の結果、3次元傾斜平面の離散化による誤差は無視できるほど小さく、性能差の主な要因は推論と学習の問題に起因することが確認された。
• ノイズに対して強い頑健性を示し、ノイズの標準偏差が0から5に上昇するに従い、RMS差分誤差は0.44から4.40ピクセルに、境界誤差は0.3%から8.9%に上昇したが、依然として良好な性能を維持した。