[논문 리뷰] NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors

Jiepeng Wang, Peng Wang외 5명|arXiv (Cornell University)|2022. 06. 27.

Advanced Vision and Imaging인용 수 4

한 줄 요약

NeuRIS는 3D 내부 환경의 신경망 재구성 방법으로, 표면 법선 사전 지식을 적응적으로 통합하여 무문자 영역의 기하학적 품질을 향상시키면서도 복잡한 구조물의 세밀한 디테일을 유지한다. 최적화 과정에서 다중 시점 일致성에 기반해 법선 사전 지식의 신뢰성을 동적으로 검증함으로써, 특히 큰 평탄한 표면과 얇은 구조물에서 최신 기술 대비 뛰어난 재구성 품질을 달성한다.

ABSTRACT

Reconstructing 3D indoor scenes from 2D images is an important task in many computer vision and graphics applications. A main challenge in this task is that large texture-less areas in typical indoor scenes make existing methods struggle to produce satisfactory reconstruction results. We propose a new method, named NeuRIS, for high quality reconstruction of indoor scenes. The key idea of NeuRIS is to integrate estimated normal of indoor scenes as a prior in a neural rendering framework for reconstructing large texture-less shapes and, importantly, to do this in an adaptive manner to also enable the reconstruction of irregular shapes with fine details. Specifically, we evaluate the faithfulness of the normal priors on-the-fly by checking the multi-view consistency of reconstruction during the optimization process. Only the normal priors accepted as faithful will be utilized for 3D reconstruction, which typically happens in the regions of smooth shapes possibly with weak texture. However, for those regions with small objects or thin structures, for which the normal priors are usually unreliable, we will only rely on visual features of the input images, since such regions typically contain relatively rich visual features (e.g., shade changes and boundary contours). Extensive experiments show that NeuRIS significantly outperforms the state-of-the-art methods in terms of reconstruction quality.

연구 동기 및 목표

• 벽과 바닥과 같이 큰 무문자 영역을 가진 내부 환경에서의 열악한 3D 재구성 문제를 해결하기 위해.
• 법선 사전 지식을 글로벌 기하 제약 조건으로 통합하여 신경망 표면 재구성의 기하학적 정확도를 향상시키기 위해.
• 매끄럽고 대규모 표면과 소형 또는 얇은 구조물의 세밀한 디테일을 모두 고급 품질로 재구성할 수 있도록 하기 위해.
• 복잡한 기하학적 구조나 rich 시각적 특징이 있는 영역에서 신뢰할 수 없는 법선 사전 지식을 자동으로 비활성화할 수 있는 메커니즘을 개발하기 위해.
• 명시적인 부피 표현에 의존하지 않고 형태-빛의 모호성을 줄이고 잡음 없이 재구성할 수 있도록 하기 위해.

제안 방법

• 사전 학습된 단안 법선 추정 네트워크를 사용해 입력 이미지에서 법선 맵을 추정한다.
• 신경 렌더링 프레임워크 내에서 법선 사전 지식을 기하학적 감독으로 통합하여 3D 표면 최적화를 이끌어낸다.
• 학습 과정에서 실시간 다중 시점 일치 검사를 수행해 법선 사전 지식의 신뢰성을 평가한다.
• 다중 시점 일치 조건을 위반하는 영역에서는 법선 사전 지식을 비활성화하고, 대신 시각적 외관 특징에 의존한다.
• 시각적 특징과 기하학적 제약 조건을 동시에 최적화할 수 있도록 기반 네트워크인 NeuS를 활용한 미분 가능한 신경 부피 표현을 사용한다.
• 정확하지 않은 법선을 걸러내기 위해 기하학적 검증 메커니즘을 적용하여, 특히 얇은 구조물이나 날카운 모서리 영역에서의 오류를 줄인다.

실험 결과

연구 질문

• RQ1 법선 사전 지식을 기하 제약 조건으로 사용할 경우, 무문자 내부 환경에서 3D 재구성 품질이 향상되는가?
• RQ2 복잡하거나 세밀한 기하학적 디테일이 있는 영역에서 재구성 품질이 악화되지 않도록 법선 사전 지식을 어떻게 적응적으로 활용할 수 있는가?
• RQ3 다중 시점 일치성이 추정된 법선 맵의 신뢰성 평가에 신뢰할 수 있는 기준이 될 수 있는가?
• RQ4 시각적 특징과 적응적 법선 사전 지식을 함께 사용할 경우, 각각을 별도로 사용할 때보다 더 나은 재구성 결과를 낼 수 있는가?
• RQ5 전경 분할이나 사전 처리 없이도 대규모 평탄한 표면과 얇은 구조물을 모두 고품질로 재구성할 수 있는가?

주요 결과

• NeuRIS는 ShapeNet-8 벤치마크에서 F-score 0.046을 기록하여, 법선 사전 지식을 적용한 베이스라인 NeuS(0.050)와 양쪽 사전 지식 + 기하학적 검증 기법을 사용한 방법(0.053)을 모두 앞서며 성능을 뛰어넘었다.
• 제거 실험 결과, 기하학적 검증 메커니즘을 추가함으로써 F-score가 0.724에서 0.736으로 향상되어, 부정확한 법선을 효과적으로 제거함을 입증했다.
• NeuRIS는 의자 다리나 책상 모서리와 같은 얇은 구조물을 성공적으로 재구성했으며, 표준 NeuS 및 단순한 법선 사전 지식 적용 시에는 부정확한 법선으로 인해 실패하는 것을 방지했다.
• 매끄럽고 대규모의 무문자 영역(예: 바닥과 벽)을 고품질로 재구성하면서도 소형 물체의 세밀한 디테일을 유지했다.
• 기하학적 검증 메커니즘은 날카로운 특징이나 복잡한 형태의 영역에서 오류 있는 법선 사전 지식을 효과적으로 식별하고 비활성화하여 잡음 없는 결과를 도출했다.
• 정량적 지표와 정성적 결과 모두에서 최신 기술 대비 우수한 성능을 보였으며, 특히 모서리나 얇은 구조물과 같은 시각적으로 중요한 영역에서 뛰어난 성능을 발휘했다.