[論文レビュー] NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction

Yusen Wang, Zongcheng Li+5 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

NeuralRoom は、室内シーン再構築における形状-放射率のあいまいさを低減するために、マルチビュー ステレオ深度および法線推定の事前知識を活用するニューラルインクリメントサーフェス再構築手法である。摂動-残差正則化を通じた幾何制約の統合により、テクスチャあり・なしの両領域において高精細で完全な再構築を実現し、ScanNet において最先端のマルチビュー手法を顕著に上回る性能を達成した。

ABSTRACT

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

研究の動機と目的

• 室内シーンのニューラルインクリメントサーフェス再構築における形状-放射率のあいまいさの課題に対処すること。
• マルチビュー ステレオが失敗するテクスチャのない領域における再構築品質を向上させること。
• 信頼性の高い幾何事前知識（深度および法線）を統合して、ニューラル最適化を制約し、局所的最小値を回避すること。
• 摂動-残差正則化を用いて、平坦でテクスチャが少ない領域の完全性と詳細を向上させること。
• NeuralRoom をポストプロセッシングの精錬モジュールとして統合することで、既存のマルチビュー再構築パイプラインの性能向上を実現すること。

提案手法

• ニューラルインクリメントサーフェスの最適化空間を制約するために、マルチビュー ステレオ（MVS）の結果を深度事前知識として用いる。
• ニューラル法線推定の出力を幾何事前知識として統合し、テクスチャのない領域における表面幾何をガイドする。
• 摂動-残差制約を適用し、局所的な表面一貫性を強制する—隣接するサンプル点は、カメラ中心からの距離と法線が類似しているべきである。
• 幾何制約付き最適化を用いた微分可能レンダラを訓練し、レンダリングされたビューが入力画像と一致することを保証する。
• 3次元座標から符号付き距離と色を予測する2本のMLP（Geo-MLP と Color-MLP）を用い、幾何事前知識が最適化を正則化する。
• 従来の深度推定（例：COLMAP）の代わりに、高度な学習ベースの手法（例：Atlas、NeuralRecon）を採用して、事前知識の品質を向上させ、再構築性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー ステレオおよび法線推定からの幾何事前知識は、室内シーンのニューラルインクリメント再構築における形状-放射率のあいまいさを低減できるか？
• RQ2 局所的な表面一貫性をどのように強制することで、テクスチャのない領域における完全性と滑らかさを向上させられるか？
• RQ3 NeuralRoom は、既存のマルチビュー再構築パイプラインの再構築品質をどの程度向上させられるか？
• RQ4 深度および法線事前知識の統合は、テクスチャあり・ありえない両方の表面を有する複雑な室内シーンにおける一般化性能を向上させるか？
• RQ5 事前知識の品質（例：COLMAP と学習ベースの手法）は、最終的な再構築忠実度にどのような影響を及えるか？

主な発見

• NeuralRoom は ScanNet ベンチマークで 66.756 の F スコアを達成し、NeuS や Unisurf といったベースライン手法に比べ、テクスチャあり・なしの両領域の再構築において顕著に優れた性能を示した。
• 摂動-残差正則化により、平坦な領域における表面の完全性と滑らかさが向上し、従来のインクリメント手法で一般的に見られるアーティファクトが低減された。
• 高度な再構築パイプライン（例：Atlas、NeuralRecon）に適用した場合、F スコアが最大 7.5%（68.347 から 73.003 に）向上し、強力な一般化性能と相互運用性を示した。
• COLMAP を学習ベースの深度推定（例：Atlas）に置き換えることで、F スコアは 68.347 から 73.003 に上昇し、高品質な事前知識の重要性を裏付けた。
• MLP の容量を低く抑えた場合（4+2 層）でも、NeuralRoom は高い再構築忠実度を維持できるが、より複雑なシーンではより大きなネットワークを必要とする。
• 深度センサが通常は検出できない鏡面や黒い表面を、RGB 入力のみとインクリメント学習の特性を活かして、成功裏に再構築した。