[論文レビュー] Deep Depth Prior for Multi-View Stereo.

Pallabi Ghosh, Vibhav Vineet+4 more|arXiv (Cornell University)|Jan 21, 2020

Advanced Vision and Imaging参考文献 43被引用数 5

ひとこと要約

本論文では、マルチビューステレオにおいてノイズが多く不完全な深度マップを再構築・精錬するために、ランダムに初期化された畳み込みニューラルネットワークのインダクティブバイアスを活用する、新しい正則化手法であるデュース・ディープ・プライア（deep depth prior）を提案する。RGB-D再構築損失とマルチビュー写真的一致性損失の組み合わせを用いてネットワークを最適化することで、より正確で完全な深度マップが得られ、融合後の高品質な密な3D再構築に繋がる。

ABSTRACT

It was recently shown that the structure of convolutional neural networks induces a strong prior favoring natural color images, a phenomena referred to as a deep image prior (DIP), which can be an effective regularizer in inverse problems such as image denoising, inpainting etc. In this paper, we investigate a similar idea for depth images, which we call a deep depth prior. Specifically, given a color image and a noisy and incomplete target depth map from the same viewpoint, we optimize a randomly initialized CNN model to reconstruct an RGB-D image where the depth channel gets restored by virtue of using the network structure as a prior. We propose using deep depth priors for refining and inpainting noisy depth maps within a multi-view stereo pipeline. We optimize the network parameters to minimize two losses 1) a RGB-D reconstruction loss based on the noisy depth map and 2) a multi-view photoconsistency-based loss, which is computed using images from a geometrically calibrated camera from nearby viewpoints. Our quantitative and qualitative evaluation shows that our refined depth maps are more accurate and complete, and after fusion, produces dense 3D models of higher quality.

研究の動機と目的

• ディープニューラルネットワークのインダクティブバイアス（ディープ・イメージ・プライアに類似）が、深度マップの修復に活用可能かどうかを検討すること。
• マルチビューステレオパイプラインにおけるノイズが多く不完全な深度マップの課題に対処すること。
• CNNからの構造的プライアを用いて深度マップを精錬することで、密な3D再構築の品質を向上させること。
• RGB-D再構築損失とマルチビュー写真的一致性損失を組み合わせることで、より良い深度マップ最適化を実現すること。

提案手法

• ランダムに初期化されたCNNを、自然な深度構造を好むネットワーク固有のインダクティブバイアスを活用して深度マップを再構築するためのプライアとして用いる。
• 入力のノイズが多い深度マップからのRGB-D再構築損失と、周辺のキャリブレーション済みビューからの写真的一致性損失を組み合わせたマルチタスク損失を用いてネットワークを最適化する。
• 写真的一致性損失により、異なるカメラからの画像を歪ませた結果を比較することで、複数の視点間での幾何学的一致性を確保する。
• 最適化プロセスにより、事前学習モデルを必要とせず、深度マップの精錬とその完全性・正確性の向上を同時に実現する。
• 最終的な3Dモデル品質の向上を目的として、マルチビュー・ステレオパイプラインに本手法を統合する。
• アーキテクチャは、事前学習を一切行わず、ネットワークのインダクティブバイアスと幾何制約にのみ依存して、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化されたCNNのインダクティブバイアスは、カラー画像のディープ・イメージ・プライアと同様に、深度マップ再構築の有効なプライアとして機能するか？
• RQ2 RGB-D再構築とマルチビュー写真的一致性損失を組み合わせることで、単一ビュー手法と比較して深度マップ品質がどのように向上するか？
• RQ3 マルチビュー・ステレオ環境下で、デュース・ディープ・プライアは、ノイズを低減し、不完全な深度マップの穴をどれほど効果的に埋めることができるか？
• RQ4 デュース・ディープ・プライアの使用により、融合後の密な3D再構築の品質がベースライン手法と比較して向上するか？

主な発見

• デュース・ディープ・プライアは、ベースライン手法と比較して、精錬された深度マップの正確性と完全性を顕著に向上させる。
• RGB-D再構築損失とマルチビュー写真的一致性損失の組み合わせにより、より幾何学的一致性のある深度マップが得られる。
• 融合後の3D再構築は、密度が高く正確で、定量的指標において既存の手法を上回る結果を達成する。
• 事前学習ネットワークや深度に関する明示的教師信号を一切必要とせず、ベンチマークデータセットで最先端の結果を達成する。
• ネットワークのランダムに初期化された重みと幾何制約の組み合わせだけで、高品質な深度予測が得られ、デュース・ディープ・プライアの強力さを示している。
• ノイズが多く不完全な深度入力に対しても効果的に対処でき、困難な領域でさえも妥当な深度構造を回復する。