[논문 리뷰] Multiview Neural Surface Reconstruction with Implicit Lighting and Material

Lior Yariv, Yoni Kasten외 5명|arXiv (Cornell University)|2020. 03. 22.

Computer Graphics and Visualization Techniques참고 문헌 35인용 수 11

한 줄 요약

이 논문은 3D 표면 기하학, 카메라 파라미터, 그리고 다양한 조명 조건과 재료를 암묵적으로 모델링할 수 있는 신경 렌더러를 동시에 학습하는 신경망을 제안한다. 기하학을 영점 수준 집합으로 표현하고 渲染方程式에서 유도된 미분 가능 렌더러를 사용함으로써, 다중 시점 이미지에서 고해상도 및 세밀한 재현을 달성하는 최신 기술 수준의 3D 재구성 성능을 확보한다. DTU MVS 데이터셋에서의 성능이 뛰어나다.

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

연구 동기 및 목표

• 다양한 조명 조건과 재료 조건에서 다중 시점 3D 표면 재구성을 해결하고자 한다.
• 종단 간 미분 가능한 프레임워크에서 미지의 기하학, 카메라 파라미터, 그리고 신경 렌더러를 동시에 최적화하고자 한다.
• 노이즈가 있는 카메라 초기화 조건 하에서도 실제 이미지에서 고해상도 3D 재구성을 가능하게 하고자 한다.
• 사전 지정된 명시적 정보 없이 다양한 조명 조건과 재료 특성을 암묵적으로 모델링하고자 한다.

제안 방법

• 기하학은 신경망의 영점 수준 집합으로 표현되어 암묵적인 표면 재구성을 가능하게 한다.
• 표면에서 카메라로의 빛 전달을 모델링하기 위해 렌더링 방정식에서 유도된 신경 렌더러를 사용한다.
• DTU MVS 데이터셋의 다양한 재료와 조명 조건을 가진 다중 시점 이미지에서 네트워크를 종단 간으로 훈련한다.
• 훈련 중에 기하학과 재료 표현과 함께 카메라 파라미터도 함께 최적화한다.
• 학습된 신경 표현을 통해 재료 특성과 조명을 암묵적으로 모델링한다.
• 미분 가능 렌더링을 통해 렌더링 과정을 거쳐 역전파를 가능하게 하여 공동 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 다중 시점 3D 재구성에서 기하학, 카메라 파라미터, 그리고 신경 렌더러를 동시에 최적화할 수 있는가?
• RQ2 암묵적인 조명 및 재료 모델링이 명시적 또는 고정된 모델 대비 재구성 정밀도를 얼마나 향상시킬 수 있는가?
• RQ3 이 방법은 노이즈가 있는 카메라 초기화와 실제 이미지의 변형에 얼마나 잘 대응할 수 있는가?
• RQ4 재료와 조명의 암묵적 표현이 더 현실적이고 세밀한 재구성 결과를 이끌어내는가?
• RQ5 DTU MVS와 같은 벤치마크 데이터셋에서 최신 기술 수준의 접근 방식과 비교해 볼 때 이 방법은 어떤가?

주요 결과

• 이 방법은 DTU MVS 데이터셋에서 최신 기술 수준의 3D 표면 재구성 품질을 달성한다.
• 노이즈가 있는 카메라 초기화 조건 하에서도 고해상도, 고정밀도 재구성이 가능하다.
• 모델은 다양한 재료 특성과 조명 조건에 대해 효과적으로 일반화된다.
• 암묵적인 신경 렌더러를 통해 복잡한 빛-표면 상호작용을 정확하게 시뮬레이션할 수 있다.
• 기하학, 카메라, 렌더링의 공동 최적화가 더 높은 재구성 세부 사항과 정확도를 향상시킨다.