[論文レビュー] NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors

Jiepeng Wang, Peng Wang+5 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

NeuRIS は、入力画像の表面法線の事前推定を動的に統合することで、テクスチャが乏しい領域の幾何的品質を向上させつつ、複雑な構造の微細なディテールを保持するニューラル再構成手法を提案する。最適化中にマルチビュー整合性を用いて法線事前知識の信頼性を動的に検証することで、特に大規模な滑らかな表面や細い構造物において、最先端の手法を上回る優れた再構成品質を達成する。

ABSTRACT

Reconstructing 3D indoor scenes from 2D images is an important task in many computer vision and graphics applications. A main challenge in this task is that large texture-less areas in typical indoor scenes make existing methods struggle to produce satisfactory reconstruction results. We propose a new method, named NeuRIS, for high quality reconstruction of indoor scenes. The key idea of NeuRIS is to integrate estimated normal of indoor scenes as a prior in a neural rendering framework for reconstructing large texture-less shapes and, importantly, to do this in an adaptive manner to also enable the reconstruction of irregular shapes with fine details. Specifically, we evaluate the faithfulness of the normal priors on-the-fly by checking the multi-view consistency of reconstruction during the optimization process. Only the normal priors accepted as faithful will be utilized for 3D reconstruction, which typically happens in the regions of smooth shapes possibly with weak texture. However, for those regions with small objects or thin structures, for which the normal priors are usually unreliable, we will only rely on visual features of the input images, since such regions typically contain relatively rich visual features (e.g., shade changes and boundary contours). Extensive experiments show that NeuRIS significantly outperforms the state-of-the-art methods in terms of reconstruction quality.

研究の動機と目的

• 壁や床のような大規模なテクスチャが乏しい領域を有する内部シーンにおける、劣悪な 3D 再構成の課題に対処すること。
• 法線事前知識をグローバルな幾何的制約として組み込むことで、ニューラル表面再構成における幾何的忠実度を向上させること。
• 滑らかで大規模な表面と、小さなまたは細い構造物における微細ディテールの両方を高品質に再構成できること。
• 複雑な幾何形状や豊富な視覚的特徴を持つ領域では、信頼性の低い法線事前知識を自動的に無効化するメカニズムを開発すること。
• 明示的なボリュメトリック表現に依存せずに、形状-放射率のあいまいさとアーチファクトを低減すること。

提案手法

• 事前学習済みの単眼法線推定ネットワークを用いて、入力画像から法線マップを推定する。
• ニューラルレンダリングフレームワークに法線事前知識を幾何的監視として統合し、3D 表面最適化をガイドする。
• トレーニング中に法線事前知識の信頼性を評価するため、リアルタイムのマルチビュー整合性チェックを実装する。
• マルチビュー整合性が破綻した領域では、法線事前知識を一時的に無効化し、代わりに視覚的外観特徴に依存する。
• 外観と幾何的制約の両方をエンドツーエンド最適化できる微分可能ニューラルボリューム表現（NeuSベース）を用いる。
• 不正確な法線を特定・除外するためのジオメトリックチェックメカニズムを適用し、特に細い構造物や鋭いエッジ付近で有効に機能する。

実験結果

リサーチクエスチョン

• RQ1 法線事前知識を幾何的事前知識として用いることで、テクスチャが乏しい内部シーンの 3D 再構成品質を向上させられるか？
• RQ2 複雑な幾何的ディテールや微細な幾何的特徴を持つ領域では、法線事前知識の品質が低下するのを防ぐために、どのように適応的に使用すべきか？
• RQ3 マルチビュー整合性は、推定された法線マップの信頼性を評価するための信頼できる基準として機能するか？
• RQ4 外観特徴と適応的法線事前知識を組み合わせることで、単独で使用する場合よりも優れた再構成が達成できるか？
• RQ5 前景セグメンテーションや事前処理を必要とせずに、大規模な平面表面と細い構造物の両方を再構成できるか？

主な発見

• NeuRIS は ShapeNet-8 ベンチマークで F スコア 0.046 を達成し、法線事前知識を組み込んだベースライン NeuS（0.050）および両事前知識とジオメトリックチェックを組み合わせた手法（0.053）を上回った。
• アブレーションスタディの結果、ジオメトリックチェック機構の導入により F スコアが 0.724 から 0.736 に向上し、信頼性の低い法線を効果的に除去できることを示した。
• NeuRIS は、標準的な NeuS や単純な法線事前知識を用いた手法が誤った法線により失敗する椅子の脚や机の角といった細い構造物を正常に再構成できた。
• テクスチャが乏しく滑らかな大規模な領域（例：床や壁）を高品質に再構成するとともに、小さな物体の微細ディテールを保持した。
• ジオメトリックチェック機構は、鋭い特徴や複雑な形状を持つ領域で不正確な法線を効果的に特定・無効化し、アーチファクトのない結果を達成した。
• 定量的指標と定性的な結果の両面で、特にエッジや細い構造物といった視覚的に重要な領域において、最先端の手法を上回った。