[論文レビュー] OmniMVS: End-to-End Learning for Omnidirectional Stereo Matching

Changhee Won, Jongbin Ryu+1 more|arXiv (Cornell University)|Aug 17, 2019

Advanced Vision and Imaging参考文献 5被引用数 4

ひとこと要約

本稿では、魚眼画像を用いたオムニディレクショナルステレオマッチングのためのエンドツーエンドディーブラーニングフレームワークであるOmniMVSを提案する。幾何的コンテキストを活用することで、テクスチャの欠如、反射性、遮蔽領域において最先端の性能を達成した。グレースケール入力がRGBよりも同等または優れた結果をもたらした。

ABSTRACT

In this paper, we propose a novel end-to-end deep neural network model for omnidirectional depth estimation from a wide-baseline multi-view stereo setup. The images captured with ultra wide field-of-view (FOV) cameras on an omnidirectional rig are processed by the feature extraction module, and then the deep feature maps are warped onto the concentric spheres swept through all candidate depths using the calibrated camera parameters. The 3D encoder-decoder block takes the aligned feature volume to produce the omnidirectional depth estimate with regularization on uncertain regions utilizing the global context information. In addition, we present large-scale synthetic datasets for training and testing omnidirectional multi-view stereo algorithms. Our datasets consist of 11K ground-truth depth maps and 45K fisheye images in four orthogonal directions with various objects and environments. Experimental results show that the proposed method generates excellent results in both synthetic and real-world environments, and it outperforms the prior art and the omnidirectional versions of the state-of-the-art conventional stereo algorithms.

研究の動機と目的

• オムニディレクショナル魚眼画像におけるステレオマッチングの課題、特にテクスチャの欠如、反射性、遮蔽領域の対処。
• 多様なフォトメトリックおよびジオメトリック環境に一般化可能なディーブラーニングフレームワークの開発。
• 実世界のシナリオにおいて、グレースケール入力がRGBよりも同等または優れた性能を示すことを実証すること。
• 実世界の課題を模倣する合成データセットを構築・活用し、耐障害性の高いステレオマッチングモデルのトレーニングを実現すること。

提案手法

• 球面上に均一に分布するように保証するためのレジェクションサンプリング手法を用い、64個のShapeNetオブジェクト（ランダムなテクスチャ、回転、スケール）をランダムに配置することで、OmniThingsデータセットを合成する。
• SUNCGベースの屋内シーンからOmniHouseデータセットを生成し、ランダムなカメラ位置・姿勢を設定し、日差しの強い空などの現実的な背景を組み込むことで、実世界の条件を模倣する。
• 魚眼ステレオ画像ペアと逆深度の教師データを用いて、OmniThingsデータセット上でOmniMVSをエンドツーエンドにトレーニングする。
• 曇りの日とOmniHouseデータセット上で、OmniMVS（OmniMVS-ft）をファインチューニングし、曇りの領域での性能を向上させる。
• 低テクスチャまたは反射性領域におけるマッチングコスト推定を改善するために、幾何的コンテキスト正則化を適用する。
• トレーニング用に現実的な魚眼画像と対応する逆深度マップを生成するため、微分可能なレンダリングパイプラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディーブラーニングモデルは、多様なフォトメトリックおよびジオメトリカルな条件下で、オムニディレクショナル魚眼画像においても頑健なステレオマッチングを達成できるか？
• RQ2 OmniThingsやOmniHouseのような合成データセットは、実世界のステレオマッチングタスクにおける一般化性能をどの程度向上させるか？
• RQ3 オムニディレクショナルシステムにおけるステレオマッチングにおいて、グレースケール入力がRGBよりも同等または優れた性能を示すか？
• RQ4 幾何的コンテキスト正則化は、テクスチャの欠如や反射領域におけるマッチング精度の向上にどの程度効果的か？
• RQ5 ドメイン特化型データセット（例：OmniHouse）上でファインチューニングすることで、困難な実世界のシーンにおける性能が著しく向上するか？

主な発見

• OmniMVS-ftは、グレースケール入力でOmniHouseデータセットの>1mm閾値において87.70%の精度を達成し、元のPSMNetおよびDispNet-CSSモデルを上回った。
• Sunnyデータセットでは、OmniMVS-ftがグレースケール入力で>1mm閾値において93.24%の精度を達成し、RGBベースのベースラインを上回った。
• グレースケール入力の使用により、RGBと同等またはわずかに優れた性能が得られ、実世界のテストセットではPSMNetでRMS誤差4.11–4.20、DispNet-CSS-ftで3.44–3.46を記録した。
• OmniHouseおよびSunnyデータセット上でファインチューニングすることで、テクスチャの欠如や反射面における性能が著しく向上し、OmniHouseデータセットではMAEが7.28から3.51に低下した。
• OmniThingsデータセットは有効な事前学習を可能にし、OmniHouseは複雑なジオメトリと照明を有する実世界の屋内シーンへの一般化を向上させた。
• モデルは実魚眼ステレオデータへの強いゼロショット一般化を示し、合成データでトレーニングされたにもかかわらず、標準ベンチマークで競争力のある結果を示した。