[論文レビュー] Dense Multi-view 3D-reconstruction Without Dense Correspondences

Yvain Quéau, Jean Mélou+2 more|arXiv (Cornell University)|Apr 2, 2017

Advanced Vision and Imaging参考文献 39被引用数 5

ひとこと要約

本稿では、一般照明下でも高精細で詳細豊かな再構成を実現する variational multi-view shape-from-shading 法を提示している。この手法は、ADMMに基づく最適化により、複数の視点および色チャネルにおける単一画像 SFS 問題を結合することで、密な対応関係が不要な高密度 3D 再構成を可能にした。本手法は、最小限の視点数（例：N=2）でも凹凸の曖昧さを解消し、テクスチャが乏しい表面や低テクスチャ表面においても標準的な MVS より優れた性能を発揮する。

ABSTRACT

We introduce a variational method for multi-view shape-from-shading under natural illumination. The key idea is to couple PDE-based solutions for single-image based shape-from-shading problems across multiple images and multiple color channels by means of a variational formulation. Rather than alternatingly solving the individual SFS problems and optimizing the consistency across images and channels which is known to lead to suboptimal results, we propose an efficient solution of the coupled problem by means of an ADMM algorithm. In numerous experiments on both simulated and real imagery, we demonstrate that the proposed fusion of multiple-view reconstruction and shape-from-shading provides highly accurate dense reconstructions without the need to compute dense correspondences. With the proposed variational integration across multiple views shape-from-shading techniques become applicable to challenging real-world reconstruction problems, giving rise to highly detailed geometry even in areas of smooth brightness variation and lacking texture.

研究の動機と目的

• テクスチャが乏しい領域や滑らかな領域において、標準的なマルチビューステレオ（MVS）の限界を克服するため、密な対応関係の計算を shape-from-shading に置き換えること。
• 単一視点 SFS に内在する曖昧さ（凹型 vs. 凸型）を、多視点一貫性を用いて解消すること。
• 一般（自然）照明下で、正則化を不要とする堅牢な SFS 定式化を構築し、微細な幾何的詳細を保持すること。
• 多視点光度一貫性制約を直接変分的枠組みに統合し、MVS の出力を反復的に最適化する必要を回避すること。
• 入力画像の数を大幅に削減できるように、僅かな対応関係のみを用いて高品質な 3D 再構成を実現すること。

提案手法

• 一般照明下における PDE を用いた SFS モデルを用いて、N 個の視点および C 個の色チャネルにおける形状再構成を、連合変分最適化問題として定式化する。
• 深度と勾配変数を分離するために、補助変数 θ_i = ((z_i)_x, (z_i)_y, z_i) を導入し、効率的な ADMM に基づく最適化を可能にする。
• ADMM アルゴリズムを用いて、深度マップの更新と多視点一貫性制約の強制を交互に実行することで、結合問題を解く。
• 予測された強度と観測された強度の差の 2-ノルムを用いて、多視点光度一貫性制約を課す。
• SFS のデータ適合性と多視点一貫性項のバランスを調整する重みパラメータ λ を用い、実験により λ ∈ [10⁻⁸, 10⁻²] の広い範囲で安定性が確認された。
• SFS PDE システムに対して固定点線形化戦略を採用し、正則化を回避しながらも数値的安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 正則化や初期推定値を必要とせず、多視点一貫性が単一視点 SFS の凹凸の曖昧さを解消できるか？
• RQ2 自然照明下における変分的 SFS 定式化が、密な対応関係が不要な状況でも高精度な 3D 再構成を達成できるか、その程度は？
• RQ3 本手法は、テクスチャが乏しいまたは滑らかな表面において、微細な幾何的詳細を再構成する点で標準的な MVS より優れているか？
• RQ4 僅かな対応関係を用いた 2 視点でのみ、正確な再構成が可能か？密なマッチングを回避できるか？
• RQ5 SFS 要素に正則化を導入しないことで、正則化付き SFS や MVS ベースの最適化と比較して、より優れた詳細回復が達成できるか？

主な発見

• 本手法は、僅かな対応関係（2 視点）でのみ、単一視点 SFS に内在する凹凸の曖昧さを完全に解消し、一意な 3D 再構成を実現した。
• 合成データにおいて、色付きで2次照明下の 'Figure' データセットでは、平均絶対誤差（MAE-N）が 8.13 に達し、ベースライン手法を顕著に上回った。
• 実世界の 'Sokrates' データセット（N=4）では、7,982 個の SIFT を用いた僅かな対応関係で、細かい幾何的詳細を保持する高密度な再構成を生成し、標準的な MVS よりも優れた細粒度の幾何再構成を達成した。
• λ の値が 10⁻⁸ から 10⁻² の広い範囲で同程度の結果を示し、λ = 10⁻⁵ を一貫して使用したことで、パラメータ選択に対するロバストネスが裏付けられた。
• 2 つの深度マップ（z₁, z₂）から得た統合点群は一貫性のある幾何を示しており、曖昧さが多視点制約によって解消されていることを確認した。
• 2 視点のみを用いても、30 視点を用いた CMPMVS よりも詳細な再構成を達成した。これは、本手法の優れた効率性と詳細回復能力を示している。