[論文レビュー] Neural 3D Scene Reconstruction with the Manhattan-world Assumption

Haoyu Guo, Sida Peng+5 more|arXiv (Cornell University)|May 5, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、implicit neural representationにManhattan-world仮説を統合することで、低テクスチャな屋内シーンにおける幾何再構築を向上させる、新しいニューラル3Dシーン再構築手法を提案する。3次元空間における符号付き距離関数（SDF）とセマンティックラベルの共同最適化を図る新しい損失関数を用いることで、特に平面領域において優れた再構築品質とセマンティックの一貫性を達成し、ScanNetおよび7-Scenesにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

This paper addresses the challenge of reconstructing 3D indoor scenes from multi-view images. Many previous works have shown impressive reconstruction results on textured objects, but they still have difficulty in handling low-textured planar regions, which are common in indoor scenes. An approach to solving this issue is to incorporate planer constraints into the depth map estimation in multi-view stereo-based methods, but the per-view plane estimation and depth optimization lack both efficiency and multi-view consistency. In this work, we show that the planar constraints can be conveniently integrated into the recent implicit neural representation-based reconstruction methods. Specifically, we use an MLP network to represent the signed distance function as the scene geometry. Based on the Manhattan-world assumption, planar constraints are employed to regularize the geometry in floor and wall regions predicted by a 2D semantic segmentation network. To resolve the inaccurate segmentation, we encode the semantics of 3D points with another MLP and design a novel loss that jointly optimizes the scene geometry and semantics in 3D space. Experiments on ScanNet and 7-Scenes datasets show that the proposed method outperforms previous methods by a large margin on 3D reconstruction quality. The code is available at https://zju3dv.github.io/manhattan_sdf.

研究の動機と目的

• 屋内シーンに一般的に見られる低テクスチャな平面領域（床や壁など）における3次元再構築の質の低さという課題に対処すること。
• 各ビューごとに深度マップを最適化する多視点ステレオ（MVS）手法の限界を克服し、深度と平面の推定に一貫性を持たせること。
• implicitニューラル表現学習中に、Manhattan-world仮説を活用して平面領域における幾何的一致性を強制すること。
• 幾何とセマンティックを同時に最適化することで、視点間のノイズや不一致を低減し、セマンティックセグメンテーションの精度を向上させること。
• 多視点画像を統合されたimplicit表現フレームワークで学習することで、グローバルに一貫性のある3次元再構築とセグメンテーションを実現すること。

提案手法

• 任意の3次元点に対して符号付き距離関数（SDF）、色、セマンティックログィットを予測する多層パーセプトロン（MLP）を用いて3次元シーンを表現する。
• 入力画像に2次元セマンティックセグメンテーションネットワーク（例：DeepLabV3+）を適用することで、セマンティックログィットを初期化する。
• 床および壁領域の表面法線が3つの主要な直交方向に一致するように正則化することで、Manhattan-world仮説を強制する。
• 2次元セグメンテーションの不正確さを是正するために、3次元空間におけるSDF幾何とセマンティックログィットを同時に最適化する新しい共同最適化損失を導入する。
• 微分可能なボリュームレンダリングを用いて、レンダリング画像と入力画像を比較することで、光度的一致性に基づくエンドツーエンドの学習を可能にする。
• 訓練中に全入力ビューにわたって幾何とセマンティクスを共同最適化することで、多視点一貫性を適用する。

実験結果

リサーチクエスチョン

• RQ1 implicitニューラル表現に基づく3次元再構築に、Manhattan-world仮説を効果的に統合できるか。特に平面領域の再構築に寄与するか。
• RQ2 幾何とセマンティクスの共同最適化は、別々の最適化と比較して、再構築品質とセグメンテーション精度をどのように向上させるか。
• RQ3 提案手法は、複数の視点にわたるセマンティックセグメンテーションにおけるノイズと不一致をどの程度低減するか。
• RQ4 幾何とセマンティクスの共同最適化により、テクスチャが乏しい平面領域の再構築が、より正確かつ完全に実現できるか。
• RQ5 再構築の精度・再現率、および新規ビュー合成品質の観点から、最先端のMVSおよびニューラルレンダリング手法と比較して、本手法はどのように差をつけるか。

主な発見

• 提案手法は、ScanNetおよび7-Scenesデータセットにおいて、特に平面領域において顕著な改善を示す最先端の3次元再構築品質を達成した。
• ScanNetでは、COLMAP、NeRF、UNISURF、NeuS、VolSDFを上回り、特にテクスチャが乏しい領域において再構築精度と完全性に優れた性能を発揮した。
• 床領域のセマンティックセグメンテーションIoUは、DeepLabV3+の0.532から0.624に向上し、壁領域は0.475から0.518に向上した。これは、セグメンテーションの一貫性と正確性の顕著な向上を示している。
• セマンティクスと幾何の共同最適化により、視点間でノイズが多く不一致するセグメンテーションラベルが、特に物体境界付近で低減された。
• 新規ビュー合成の結果、幾何的忠実度の向上により、NeRFやVolSDFに比べて、学習ビューから遠く離れた視点でも高品質な画像を生成した。
• 非平面領域では高精細なディテールを維持しながら、平面構造の再構築が著しく向上した。これにより、本手法の頑健性と一般化性能が示された。