[論文レビュー] MVDepthNet: Real-time Multiview Depth Estimation Neural Network

Kaixuan Wang, Shaojie Shen|arXiv (Cornell University)|Jul 23, 2018

Advanced Vision and Imaging参考文献 3被引用数 4

ひとこと要約

MVDepthNet は、複数の画像ポーズペアからコストボリュームを構築することで、カメラパrameter や視点数に依存しない効率的で幾何学的注意をもった深度推定を可能にするリアルタイムな畳み込みニューラルネットワークである。この手法は、屋内および屋外のデータセットにおいて DeMoN や FCRN と同様の方法を上回る最先端の精度を達成し、テクスチャの欠落した領域や反射面の処理を改善している。

ABSTRACT

Although deep neural networks have been widely applied to computer vision problems, extending them into multiview depth estimation is non-trivial. In this paper, we present MVDepthNet, a convolutional network to solve the depth estimation problem given several image-pose pairs from a localized monocular camera in neighbor viewpoints. Multiview observations are encoded in a cost volume and then combined with the reference image to estimate the depth map using an encoder-decoder network. By encoding the information from multiview observations into the cost volume, our method achieves real-time performance and the flexibility of traditional methods that can be applied regardless of the camera intrinsic parameters and the number of images. Geometric data augmentation is used to train MVDepthNet. We further apply MVDepthNet in a monocular dense mapping system that continuously estimates depth maps using a single localized moving camera. Experiments show that our method can generate depth maps efficiently and precisely.

研究の動機と目的

• 既知のカメラポーズを用いた複数の単眼視点からの深度推定のためのリアルタイムでエンドツーエンドトレーニング可能なニューラルネットワークの開発。
• 単眼システムにおける任意のエピポーラ線やパrametrized トリアングレーションといったマルチビュー深度推定の課題の克服。
• アーキテクチャの再トレーニングなしに、変化するカメラ内部パラメータ、視点数、シーンタイプに一般化可能にする。
• テクスチャの欠落した領域、反射面、RGB-D の制限を超えた長距離深度推定に対する耐性の向上。
• 移動するカメラを用いた連続的な深度推定を可能にするリアルタイムな単眼高密度マッピングシステムへのネットワーク統合。

提案手法

• MVDepthNet は、入力の画像ポーズペアからのマルチビュー観測を符号化することで、複数の視点における潜在的深度仮説を表現するコストボリュームを構築する。
• コストボリュームはエンコーダ・デコーダネットワークによって処理され、視点間の明示的なピクセルマッチングを回避する。
• 幾何的データ拡張がコストボリュームおよび真値深度に適用され、トレーニング中にピクセル単位の整合性が保持される。
• カメラポーズと内部パラメータがコストボリュームに符号化され、固定されたエピポーラ制約なしにトリアングレーションが可能になる。
• ネットワークは深度マップ上の教師あり損失を用いてエンドツーエンドでトレーニングされ、限られた実世界データへの一般化を向上させるために拡張が適用される。
• この手法は、移動するカメラを用いて連続的な深度推定を実行する単眼高密度マッピングシステムに統合されている。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習モデルが、ステレオキャリブレーションを必要とせず、既知のポーズを有する複数の単眼視点からリアルタイムで深度推定を達成できるか。
• RQ2 ニューラルネットワークに効果的にマルチビュー幾何的制約を符号化することで、変化するカメラ基準点や内部パラメータに対しても耐性のある深度推定を実現できるか。
• RQ3 限られた実世界データセット上でトレーニングする際、幾何的データ拡張がピクセル単位の整合性を保持し、一般化を向上させることができるか。
• RQ4 本手法は、RGB-D カメラや最先端の単眼深度推定手法と比較して、困難なシーンにおいて精度と耐性に優れているか。
• RQ5 RGB-D センサが失敗するテクスチャの欠落した領域、反射面、遠距離の物体に対しても、ネットワークが一般化可能か。

主な発見

• MVDepthNet は標準的なハードウェアでもリアルタイム性能を達成し、単眼高密度マッピングシステムにおける連続的深度推定を可能にしている。
• TUM RGB-D データセットにおいて、デスクシーケンスで平均 L1-rel エラーが 0.109 を達成し、VI-MEAN (0.623) や REMODE (1.314) を上回っている。
• ICL-NUIM データセットにおいて、xyz シーケンスで平均 L1-rel エラーが 0.076 を達成し、VI-MEAN (0.564) や REMODE (0.801) を上回っている。
• MVDepthNet は、図1の赤丸で示されるように、RGB-D カメラが失敗するテクスチャの欠落した領域や反射面に対しても深度を効果的に推定している。
• 全テストシーケンスで 100% の有効な深度推定密度を達成している一方、VI-MEAN や REMODE はテクスチャの欠落やモーションブラー領域での失敗により顕著に低い密度を示している。
• MVDepthNet は、1次元正則化を用いる VI-MEAN で見られるストリークアーチファクトを低減し、ピクセル分類損失に依存する DeepMVS よりもオクルージョンをより効果的に処理している。