[論文レビュー] NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo

Yi Wei, Shaohui Liu+4 more|arXiv (Cornell University)|Sep 2, 2021

Advanced Vision and Imaging参考文献 57被引用数 11

ひとこと要約

本稿では、屋内シーンにおける形状-放射率の曖昧さを克服するために、シーンに適応した単眼深度事前知識を用いてニューラルレイトランスフィールド（NeRF）最適化をガイドする、NerfingMVSという新しいマルチビュー深度推定手法を提案する。スパースなSfM+MVS再構築結果を基に深度ネットワークをファインチューニングし、その予測結果をNeRFのボリュームレンダリングにおけるサンプリングに制約として用いることで、最先端の深度精度と向上したビュー合成品質を達成し、照合ベースおよび標準的なNeRF最適化手法を上回る。

ABSTRACT

In this work, we present a new multi-view depth estimation method that utilizes both conventional reconstruction and learning-based priors over the recently proposed neural radiance fields (NeRF). Unlike existing neural network based optimization method that relies on estimated correspondences, our method directly optimizes over implicit volumes, eliminating the challenging step of matching pixels in indoor scenes. The key to our approach is to utilize the learning-based priors to guide the optimization process of NeRF. Our system firstly adapts a monocular depth network over the target scene by finetuning on its sparse SfM+MVS reconstruction from COLMAP. Then, we show that the shape-radiance ambiguity of NeRF still exists in indoor environments and propose to address the issue by employing the adapted depth priors to monitor the sampling process of volume rendering. Finally, a per-pixel confidence map acquired by error computation on the rendered image can be used to further improve the depth quality. Experiments show that our proposed framework significantly outperforms state-of-the-art methods on indoor scenes, with surprising findings presented on the effectiveness of correspondence-based optimization and NeRF-based optimization over the adapted depth priors. In addition, we show that the guided optimization scheme does not sacrifice the original synthesis capability of neural radiance fields, improving the rendering quality on both seen and novel views. Code is available at https://github.com/weiyithu/NerfingMVS.

研究の動機と目的

• 屋内シーンにおけるNeRFベースの深度推定における形状-放射率の曇りを解消し、幾何的精度を向上させること。
• 照合マッチングに依存しない、学習ベースの深度事前知識をNeRF最適化に直接統合することで、マルチビュー深度推定を改善すること。
• 従来の仮定とは反して、深度事前知識を用いたNeRFボリューム上の直接最適化が照合ベース最適化を上回ることを示すこと。
• 従来のSfM+MVS再構築を監視信号として活用することで、深度推定と新規ビュー合成の両方の品質を向上させること。
• 適応した深度事前知識が、見られるビューおよび新規ビューの両方においてNeRFのレンダリング忠実度を向上させつつ、合成能力を損なわないことを示すこと。

提案手法

• COLMAPから得られるターゲットシーンのスパースSfM+MVS再構築結果を用いて、単眼深度ネットワークをファインチューニングし、シーン固有の深度事前知識を生成する。
• 適応した深度事前知識を用いて、NeRFボリュームレンダリング中のサンプリングプロセスをガイドし、幾何と放射率の曇りを低減する。
• レンダリング済みと真値RGB画像間の光度誤差から、ピクセルごとの信頼度マップを構築し、深度予測の精緻化を図る。
• 推定された対応関係や再投影損失に依存せず、暗黙の3次元ボリューム上で直接最適化を実行する。
• 信頼度マップを用いた後処理フィルタリングステップを適用し、信頼性の低い予測の抑制により深度マップ品質を向上させる。
• サンプリングプロセスにおける多様性と正確性のバランスを取るために、適応的サンプリング境界（α_l と α_h）を導入し、最適化の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの深度事前知識は、屋内シーンにおけるNeRFベースの深度推定において、固有の形状-放射率の曇りを克服できるか？
• RQ2 深度事前知識を用いたNeRFボリューム上の直接最適化は、屋内MVS設定において照合ベース最適化フレームワークを上回るか？
• RQ3 従来のSfM+MVS再構築の統合は、NeRFにおける深度推定と新規ビュー合成の両方を向上させられるか？
• RQ4 なぜ照合ベース最適化は、屋内シーンにおける適応した深度事前知識に適用すると性能が低下するのか？
• RQ5 ガイド付きNeRF最適化は、見られるビューおよび新規ビューの両方におけるレンダリング品質をどの程度向上させられるか？

主な発見

• NerfingMVSは、屋内マルチビュー深度推定ベンチマークで最先端の性能を達成し、ScanNetデータセットにおいてPSNR 30.55、SSIM 0.948を記録した。
• 本手法は、NeRF（PSNR: 29.19、SSIM: 0.928）およびNSVFやSVSといった他のSOTA手法と比較して、すべてのテストシーンで顕著に優れた性能を示した。
• ガイド付き最適化により、見られるビューにおけるNeRFのビュー合成品質が向上し、PSNR 31.55、SSIM 0.942を達成した。これは元のNeRF（PSNR: 28.62、SSIM: 0.909）を上回った。
• 驚くべきことに、適応した深度事前知識に照合ベース最適化を適用すると性能が低下し、屋内シーンでは対応関係が不正確な場合にこのような手法が信頼できないことが示された。
• 適応的サンプリング境界（α_l と α_h）は、サンプリングの多様性と正確性のバランスを取ることで、性能向上に寄与しており、過剰な集中やランダム性を回避している。
• ガイド付き最適化スキームは、NeRFの元来の合成能力を維持したまま幾何的精度を向上させた。これにより、従来の再構築手法とニューラル暗黙表現を組み合わせることの有効性が示された。