[論文レビュー] MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors

Zi–Xin Zou, Shi-Sheng Huang+4 more|arXiv (Cornell University)|Sep 30, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

MonoNeuralFusion は、体積レンダリングを用いたニューラルインクリメンタルシーン表現と、幾何的プライア（表面法線、アイケオナル正則化、ノーマルマップ）を用いて、高精度で細部の再現性に優れたオンラインモノクローラ3D再構築手法を提案する。幾何的プライアをインクリメンタル表現と体積レンダリング最適化の両方に統合することで、リアルタイム走査中に効率的かつ段階的に表面を精緻化でき、微細な幾何形状の再現性と完全性において、微調整なしに最先端の手法を上回る性能を達成する。

ABSTRACT

High-fidelity 3D scene reconstruction from monocular videos continues to be challenging, especially for complete and fine-grained geometry reconstruction. The previous 3D reconstruction approaches with neural implicit representations have shown a promising ability for complete scene reconstruction, while their results are often over-smooth and lack enough geometric details. This paper introduces a novel neural implicit scene representation with volume rendering for high-fidelity online 3D scene reconstruction from monocular videos. For fine-grained reconstruction, our key insight is to incorporate geometric priors into both the neural implicit scene representation and neural volume rendering, thus leading to an effective geometry learning mechanism based on volume rendering optimization. Benefiting from this, we present MonoNeuralFusion to perform the online neural 3D reconstruction from monocular videos, by which the 3D scene geometry is efficiently generated and optimized during the on-the-fly 3D monocular scanning. The extensive comparisons with state-of-the-art approaches show that our MonoNeuralFusion consistently generates much better complete and fine-grained reconstruction results, both quantitatively and qualitatively.

研究の動機と目的

• モノクローラ動画からの不完全で過剰に滑らかになる3D再構築の課題に取り組み、特に微細な幾何的詳細を捉えること。
• 走査中に段階的に3D幾何形状を構築・精緻化する効率的でオンライン対応の再構築システムを構築し、リアルタイム応用に適すること。
• 表面法線やアイケオナル正則化といった幾何的プライアをニューラルインクリメンタル表現と体積レンダリングに統合することで、幾何形状の忠実度を向上させること。
• 深度マップや単純な特徴統合に依存する従来手法の限界を克服し、ぼやけや欠損した詳細を低減すること。
• 微調整なしに事前学習済み重みを直接利用することで、実用的で迅速な展開を可能にすること。

提案手法

• スパース特徴ボリュームとしてのニューラルインクリメンタルシーン表現（NISR）を定式化し、連続的な符号付き距離関数（SDF）に変換することで、柔軟で詳細な幾何形状の符号化を可能にする。
• 体積レンダリングにおける階層的サンプリング戦略を導入し、レイが占有されたスパースボクセル内でのみサンプリングされるようにすることで、レンダリングの効率性と正確性を向上させる。
• NISR学習と体積レンダリング最適化の両方に、表面法線プライア、アイケオナル正則化、ノーマルマッププライアといった幾何的プライアを統合し、微細な幾何形状の学習を強化する。
• 走査中に予測されたノーマルマップと色の整合性を用いて、スパース特徴ボリュームを最適化するオンライン体積レンダリング最適化ステップを採用し、再構築のリコールと詳細性を向上させる。
• 2段階の最適化を採用：走査中の段階的オンライン精緻化と、走査後の一時的なシーンごとの微調整による品質向上。
• ScanNet データセットからの事前学習済み重みを活用し、新たなシーンへ直接適用することで、追加の微調整なしに高速な展開を実現する。

実験結果

リサーチクエスチョン

• RQ1 幾何的プライアは、モノクローラ動画からの微細な3D再構築において、ニューラルインクリメンタルシーン表現に効果的に統合可能か？
• RQ2 リアルタイムで体積レンダリングを最適化することで、オンライン再構築中に微細な幾何形状の詳細をどのように向上できるか？
• RQ3 解像度依存のSDFと比較して、スパース特徴ボリューム表現は、微細な詳細を捉える能力と計算効率の両面で優れているか？
• RQ4 事前学習済みニューラル表現は、微調整なしに新規シーンへどの程度一般化可能か、特にオンライン環境下での性能はいかが？
• RQ5 幾何的プライアは、薄い部分や鏡のような領域で、再構築表面の整合性と完全性にどのように影響を与えるか？

主な発見

• MonoNeuralFusion は、複数のベンチマークで最先端の再構築品質を達成し、定量的指標と視覚的忠実度の両面で、既存のオンラインモノクローラ手法を顕著に上回る。
• 特にノーマルマップ予測を統合した幾何的プライアの統合により、ソファーのすきまや椅子の脚といった表面の微細な詳細が顕著に向上し、定性的な比較で明確に示されている。
• 体積レンダリング最適化により、Fスコアとリコールが向上し、コンピュータディスプレイや階段の欠損領域の補填において顕著な改善が見られた（図10参照）。
• 微調整なしに ScanNet からの事前学習済み重みのみを用いても高品質な再構築が達成されており、強力な一般化能力を示している。
• 最適化に色表現を追加することで、ノーマルマップのみでは得られない視覚的詳細の向上が確認された（図11参照）。
• 改善が見られる一方で、鏡の再構築、一貫性のないノーマル予測、および薄い・複雑な部分の再構築に課題を抱えており、今後の改善分野が示されている。