[논문 리뷰] NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction

Yusen Wang, Zongcheng Li외 5명|arXiv (Cornell University)|2022. 10. 13.

Advanced Vision and Imaging인용 수 4

한 줄 요약

NeuralRoom는 다중 시야 스테레오 깊이 및 노멀 추정 사전 지식을 활용하여 실내 환경 재구성에서 형태-광원 모호성을 줄이는 신경 은닉 표면 재구성 방법이다. 변형 잔차 정규화를 통해 기하 구속 조건을 통합함으로써, 질감이 있는 영역과 질감이 없는 영역 모두에서 고해상도이고 완전한 재구성을 달성하며, ScanNet에서 최신 다중 시야 방법보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.

연구 동기 및 목표

• 실내 환경의 신경 은닉 표면 재구성에서 형태-광원 모호성 문제를 해결한다.
• 다중 시야 스테레오가 실패하는 질감이 없는 영역에서 재구성 품질을 향상시킨다.
• 신뢰할 수 있는 기하 사전 지식(깊이 및 노멀)을 통합하여 신경 최적화를 제약하고 국소 최소값을 피한다.
• 변형 잔차 정규화를 사용하여 평탄하고 낮은 질감 영역에서의 완전성과 세부 사항을 향상시킨다.
• NeuralRoom를 후처리 보정 모듈로 통합하여 기존 다중 시야 재구성 파이프라인의 성능 향상을 가능하게 한다.

제안 방법

• 신경 은닉 표면 최적화 공간을 제약하기 위해 다중 시야 스테레오(MVS) 결과를 깊이 사전 지식으로 사용한다.
• 신경 노멀 추정 출력을 기하 사전 지식으로 통합하여 질감이 없는 영역에서 표면 기하를 안내한다.
• 지역 표면 일관성을 강제하는 변형 잔차 제약 조건을 적용한다—이웃 영역의 샘플링 포인트들은 유사한 노멀과 카메라 중심으로부터의 거리를 가져야 한다.
• 기하 제약 최적화를 통한 미분 가능한 렌더러를 훈련시켜 렌더링된 시야가 입력 이미지와 일치하도록 보장한다.
• 3D 좌표에서 부호 거리와 색상을 예측하기 위해 이중 분지 MLP(Geo-MLP 및 Color-MLP)를 사용하며, 기하 사전 지식이 최적화를 정규화한다.
• 기존의 깊이 추정(예: COLMAP)을 고도화된 학습 기반 방법(예: Atlas, NeuralRecon)으로 대체하여 사전 지식 품질을 향상시키고 재구성 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 시야 스테레오 및 노멀 추정에서 유도된 기하 사전 지식은 실내 환경의 신경 은닉 재구성에서 형태-광원 모호성을 줄일 수 있는가?
• RQ2 지역 표면 일관성을 어떻게 강제하여 질감이 없는 영역에서의 완전성과 매끄러움을 향상시킬 수 있는가?
• RQ3 NeuralRoom는 기존 다중 시야 재구성 파이프라인의 재구성 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 깊이 및 노멀 사전 지식의 통합이 질감과 평탄한 표면이 모두 존재하는 복잡한 실내 환경에서 더 나은 일반화 성능을 이끌 수 있는가?
• RQ5 사전 지식 품질(예: COLMAP 대비 학습 기반 방법)이 최종 재구성 정밀도에 어떤 영향을 미치는가?

주요 결과

• NeuralRoom는 ScanNet 벤치마크에서 66.756의 F-스코어를 기록하여, NeuS 및 Unisurf와 같은 기준 방법보다 질감이 있는 영역과 질감이 없는 영역 모두에서 뚜렷한 성능 향상을 보였다.
• 변형 잔차 정규화는 평탄한 영역에서 표면의 완전성과 매끄러움을 향상시켜 기존 은닉 방법에서 흔히 발생하는 잡음을 감소시켰다.
• 고도화된 재구성 파이프라인(예: Atlas, NeuralRecon)에 적용했을 때 NeuralRoom는 F-스코어를 최대 7.5% 향상시켰다(68.347에서 73.003으로), 강력한 일반화 능력과 호환성을 입증했다.
• COLMAP를 학습 기반 깊이 추정(예: Atlas)으로 대체함으로써 F-스코어는 68.347에서 73.003으로 상승했으며, 고품질 사전 지식의 중요성을 확인했다.
• MLP 용량을 감소시켜도(4+2층) NeuralRoom는 높은 재구성 품질을 유지하지만, 더 복잡한 시나리오는 더 큰 네트워크가 필요하다.
• 깊이 센서가 일반적으로 간과하는 거울 표면 및 검은 표면도 RGB만 입력으로 사용하고 은닉 학습을 통해 성공적으로 재구성했다.