[논문 리뷰] Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection

Wenhang Ge, Tao Hu외 3명|arXiv (Cornell University)|2023. 03. 20.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

Ref-NeuS는 반사 물체의 다중 시점 3D 재구성에 대한 새로운 신경 암시 표면 학습 프레임워크를 제안하며, 반사 영역을 탐지한 이상치 점수를 통해 분산을 유도하는 반사 인식 광학 손실을 통해 모호함을 감소시킨다. 이는 渲染된 색상이 정규분포로 모델링되며, 반사 점수를 분산으로 사용하여 반사 픽셀의 영향을 약화시킨다. 또한 반사 방향에 따라 달라지는 조명 밀도를 사용하여 기하학적 구조를 향상시켜, Shiny Blender 데이터셋에서 반사 표면에서 최신 기술 수준의 성능(재구성 정확도: 0.46, MAE: 0.91)을 달성한다.

ABSTRACT

Neural implicit surface learning has shown significant progress in multi-view 3D reconstruction, where an object is represented by multilayer perceptrons that provide continuous implicit surface representation and view-dependent radiance. However, current methods often fail to accurately reconstruct reflective surfaces, leading to severe ambiguity. To overcome this issue, we propose Ref-NeuS, which aims to reduce ambiguity by attenuating the effect of reflective surfaces. Specifically, we utilize an anomaly detector to estimate an explicit reflection score with the guidance of multi-view context to localize reflective surfaces. Afterward, we design a reflection-aware photometric loss that adaptively reduces ambiguity by modeling rendered color as a Gaussian distribution, with the reflection score representing the variance. We show that together with a reflection direction-dependent radiance, our model achieves high-quality surface reconstruction on reflective surfaces and outperforms the state-of-the-arts by a large margin. Besides, our model is also comparable on general surfaces.

연구 동기 및 목표

• 다중 시점 3D 재구성에서 반사 표면의 기하학적 재구성에 대한 모호함이라는 핵심 과제를 해결한다.
• 다중 시점 일致성 붕괴로 인해 기존 신경 암시 방법이 반사 표면을 처리하지 못하는 문제를 극복한다.
• 표면 외관의 복잡한 물리적 분해에 의존하지 않고도 모호함을 줄이는 방법을 개발한다.
• 더 나은 조명 밀도 모델링과 손실 가중치를 통해 반사 물체의 표면 법선 정확도와 렌더링의 현실감을 향상시킨다.
• 통합적이고 엔드 투 엔드인 프레임워크를 사용하여 반사 표면과 일반 표면 양쪽에서 최신 기술 수준의 재구성 품질을 달성한다.

제안 방법

• 가시 영상에서의 다중 시점 컨텍스트를 활용하여 이상치 탐지기를 사용한 반사 영역 추정 모듈을 도입한다.
• 반사 점수를 분산으로 사용하여 렌더링된 색상을 정규분포로 모델링하는 반사 인식 광학 손실을 설계한다. 이는 반사 픽셀의 영향을 감소시킨다.
• 각 표면 점에 대해 가시 원천 시점의 색상만을 고려하여 반사 점수 추정의 편향을 방지하기 위해 가시성 식별을 수행한다.
• 표준 시점 의존적 조명 밀도를 반사 방향에 따라 달라지는 조명 밀도로 대체하여 조명 밀도 필드의 품질과 기하학적 정확도를 향상시킨다.
• 기하학, 법선, 외관의 동시 최적화를 가능하게 하기 위해 가분성 있는 정규분포 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 다중 시점 일치성과 적응형 가중치를 활용하여 기하학적 구조를 유지하면서도 반사에 대한 민감도를 감소시킨다.

Figure 1: Our ambiguity-reduced framework significantly improves explicit surfaces geometry, surface normals and rendering realism for modeling reflective surfaces compared to NeuS and Ref-NeRF. Reconstruction accuracy (lower is better), surface normal mean angular error, i.e., MAE (lower is better)

실험 결과

연구 질문

• RQ1 신경 암시 표면 학습이 다중 시점 일치성이 본질적으로 손상되는 반사 표면에 대해 어떻게 강건해질 수 있는가?
• RQ2 물리적 분해된 표면 성분에 의존하지 않고도 반사로 인한 모호함을 효과적으로 줄일 수 있는가?
• RQ3 다중 시점 컨텍스트는 손실 가중치에 사용하기 위한 반사 점수 정확한 추정에 어떤 역할을 하는가?
• RQ4 반사 방향에 따라 달라지는 조명 밀도가 표준 시점 의존적 조명 밀도에 비해 기하학 및 표면 법선 추정에 어떻게 향상되는가?
• RQ5 반사 인식 손실과 방향에 따라 달라지는 조명 밀도를 조합할 경우 반사 물체의 재구성 품질은 어느 정도 향상되는가?

주요 결과

• Ref-NeuS는 Shiny Blender 데이터셋에서 재구성 정확도 0.46(낮을수록 좋음)와 평균 각도 오차(MAE) 0.91을 달성하여, NeuS(1.69, 1.77) 및 Ref-NeRF와 같은 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해 가시성 인식 반사 점수 추정과 반사 방향에 따라 달라지는 조명 밀도의 조합이 가장 뛰어난 성능을 내며, 기준 NeuS 대비 MAE를 45% 감소시켰다.
• 반사 점수로 분산을 모델링한 반사 인식 광학 손실은 반사 픽셀의 영향을 줄여 더 정확한 표면 기하학과 법선을 가능하게 했다.
• 모델에서 향상된 표면 법선은 더 높은 PSNR를 제공하여, 더 적은 레이를 사용함에도 불구하고 Ref-NeRF보다 더 현실적인 렌더링을 구현함을 입증했다.
• 비반사 표면에서도 뛰어난 성능을 유지하여, 반사 물체를 넘어서 일반 표면으로의 일반화 능력을 보였다.
• 반사 인식 손실과 방향에 따라 달라지는 조명 밀도를 모두 포함한 전체 모델이 가장 우수한 결과를 달성하여, 두 구성 요소가 상호 보완적임을 입증했다.

Figure 2: An overview of our framework. We propose a reflection-aware photometric loss to address the ambiguity induced by reflection. This loss attenuates the importance of reflective surfaces by lowering the weights of reflective pixels. Our loss relies on the estimated reflection score to localiz