[論文レビュー] Detail-preserving and Content-aware Variational Multi-view Stereo Reconstruction

Zhaoxin Li, Kuanquan Wang+3 more|arXiv (Cornell University)|May 3, 2015

Advanced Vision and Imaging参考文献 47被引用数 30

ひとこと要約

本稿では、新しいエッジ保持型類似性測定とコンテンツに適応したℓpベースのメッシュノイズ除去を交互に用いる、詳細保持型でコンテンツに適応した変分的（DCV）マルチビューステレオ手法を提案する。ガイド付き画像フィルタリングを画像登録に結びつけ、p値と正則化パラメータを動的に推定することで、DCVは再構成品質が優れており、Middleburyのdino ringおよびdino sparse ringデータセットにおいて、精度と完全性の両面で最先端の手法を上回る。

ABSTRACT

Accurate recovery of 3D geometrical surfaces from calibrated 2D multi-view images is a fundamental yet active research area in computer vision. Despite the steady progress in multi-view stereo reconstruction, most existing methods are still limited in recovering fine-scale details and sharp features while suppressing noises, and may fail in reconstructing regions with few textures. To address these limitations, this paper presents a Detail-preserving and Content-aware Variational (DCV) multi-view stereo method, which reconstructs the 3D surface by alternating between reprojection error minimization and mesh denoising. In reprojection error minimization, we propose a novel inter-image similarity measure, which is effective to preserve fine-scale details of the reconstructed surface and builds a connection between guided image filtering and image registration. In mesh denoising, we propose a content-aware $\ell_{p}$-minimization algorithm by adaptively estimating the $p$ value and regularization parameters based on the current input. It is much more promising in suppressing noise while preserving sharp features than conventional isotropic mesh smoothing. Experimental results on benchmark datasets demonstrate that our DCV method is capable of recovering more surface details, and obtains cleaner and more accurate reconstructions than state-of-the-art methods. In particular, our method achieves the best results among all published methods on the Middlebury dino ring and dino sparse ring datasets in terms of both completeness and accuracy.

研究の動機と目的

• 微細なスケールのディテールや鋭い特徴を保持しつつノイズを抑制する現行のMVS手法の限界を克服する。
• メッシュベースのMVS再構成における等方的メッシュ平滑化の過剰平滑化問題を克服する。
• 低テクスチャ領域および複雑な幾何形状領域における再構成の精度と完全性を向上させる。
• 局所的な表面コンテンツに適応するコンテンツに適応したメッシュノイズ除去戦略を開発し、より良い特徴保持を実現する。
• ガイド付きフィルタリングの原則を活用してディテール保持を向上させる、新しい画像間類似性測定を統合する。

提案手法

• ガイド付き画像フィルタリングと画像登録を結びつけることで、微細なスケールの表面ディテールを保持する新しい画像間類似性測定を提案する。
• 局所的表面コンテンツに基づいてp値と正則化パラメータを動的に推定するコンテンツに適応したℓp最小化アルゴリズムを用いてメッシュノイズ除去を行う。
• 変分的フレームワーク内で再投影誤差最小化とメッシュノイズ除去を交互に実行することで、3次元表面再構成を精緻化する。
• 表面勾配のハイパーラプラシアンモデルを用いてℓp最小化プロセスをガイドし、ノイズ抑制を強固にする。
• 2段階の最適化パイプラインを採用する：まず新しい類似性測定を用いて再投影誤差を最小化し、次に適応的ℓp正則化を用いてメッシュをノイズ除去する。
• 校正済みマルチビュー画像に本手法を適用し、事前表面推定にはPMVS+PSRを活用した後、精緻化を行う。

実験結果

リサーチクエスチョン

• RQ1 ガイド付きフィルタリングに基づく類似性測定は、マルチビューステレオ再構成におけるディテール保持を改善できるか？
• RQ2 コンテンツに適応したパrameter推定を伴う適応的ℓp最小化は、等方的および非等方的メッシュ平滑化を上回り、鋭い特徴をよりよく保持できるか？
• RQ3 ディテール保持型類似性測定とコンテンツに適応したノイズ除去を組み合わせることで、ベンチマークデータセットにおける優れた再構成品質が得られるか？
• RQ4 低テクスチャおよび複雑な幾何形状を有する挑戦的なデータセット（例：Middleburyのdino ring）において、本手法はどのように性能を発揮するか？
• RQ5 最先端の手法と比較して、ノイズを低減しつつ微細なスケールの表面ディテールをどの程度維持できるか？

主な発見

• Middleburyのdino ringおよびdino sparse ringデータセットにおいて、DCV手法はすべての公表済み手法の中で完全性と精度の両面で最高の結果を達成した。
• ベルデータセットでは、DCVは滑らかな表面と微細な特徴の両方を優れたレベルで保持した、最もクリアで詳細な再構成を生成し、等方的およびディテール保持型類似性ベースラインと比較して優位性を示した。
• フェンタングP11屋外データセットでは、DCVは微細なスケールのディテールと鋭い特徴の保持において、等方的手法を明確に上回った。
• スタチューガールデータセットでは、DCVは商業ソフトウェアのSmart3Dcaptureと同等の再構成品質を達成し、つま先や顔面特徴などの微細なスケールのディテールの回復が優れていた。
• コンテンツに適応したℓpノイズ除去法は、競合する非等方的手法と比較して視覚的により快適な結果を生み出し、Herzjesu-P8およびTotoroデータセットではL0ベースのノイズ除去と同等またはそれを上回る性能を示した。
• 本手法は平坦な領域、鋭いエッジ、微細なスケールのディテールを有する表面を効果的に再構成でき、多様な幾何的およびテクスチャ的条件下でも頑健であることを示した。