[논문 리뷰] Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance

Lior Yariv, Yoni Kasten외 5명|arXiv (Cornell University)|2020. 03. 22.

Computer Graphics and Visualization Techniques인용 수 345

한 줄 요약

논문은 IDR을 제시하며, 마스킹된 2D 이미지에서 다양한 조명과 재질 하에서 고충실도 다중 보기 3D 재구성을 달성하기 위해 기하학(신경 임의 표면으로서의 기하), 외관, 그리고 카메라 매개변수를 함께 학습하는 엔드-투-엔드 신경 구조입니다.

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

연구 동기 및 목표

• 추가 감독 없이 거칠거나 미지의 카메라 자세로부터 마스크된 2D 이미지에서 3D 기하학 재구성.
• 신경 제로 레벨 셋(SDF)으로 기하학 표현하고 다양한 조명 하에서 외관을 학습하기 위한 신경 렌더러를 학습한다.
• 렌더러를 표면 법선 및 시야 방향으로 조건화하여 기하학과 외관의 분리를 가능하게 한다.
• 렌더링에 정보를 주기 위한 글로벌 기하 특징 벡터를 도입하여 전역 조명을 처리한다.

제안 방법

• 신경 네트워크 f의 제로 레벨 셋으로 기하학 표현하고 이를 부호 거리 함수(SDF)로 해석한다.
• 임의 미분 가능 렌더러 M을 사용해 표면의 빛 필드를 표면 점, 법선, 시점 방향, 그리고 글로벌 기하 특징 벡터의 함수로 모델링한다.
• Lp(θ, γ, τ)=M(x̂p, n̂p, ẑp, vp; γ)인 미분 가능 전방 모델을 통해 픽셀 색상을 계산하고 파라미터 θ(기하), γ(외관), τ(카메라)를 엔드-투-엔드로 학습한다.
• 최적화를 위한 정확한 1차 도함수 행동을 보존하는 뉴럴-유니파이드 표현을 사용해 광선과 표면의 교차 X̂(θ, τ)를 미분 가능하게 도입한다.
• 마스크 기반 손실과 암시적 기하 규제(IGR)를 통해 설득력 있는 표면을 권장한다.
• 렌더러를 고주파 입력 맵과 글로벌 특징 벡터로 보완해 간접 조명 및 장면 전체 효과를 포착한다.

실험 결과

연구 질문

• RQ1 마스크된 2D 이미지에서 기하학, 외관, 카메라 매개변수를 엔드-투-엔드 미분 가능 파이프라인으로 공동으로 복원할 수 있는가?
• RQ2 표면 법선과 시점 방향을 포함하는 신경 렌더러가 기하학과 외관의 분리를 다양한 재질과 조명에서 가능하게 하는가?
• RQ3 전역 조명 효과와 근거리 상호 작용이 다중 보기 표면 재구성의 품질에 어떤 영향을 미치는가?
• RQ4 카메라가 알려진 상태 혹은 공동으로 학습된 상태에서 표준 다중 보기 데이터 세트에 대해 IDR이 기존 베이스라인과 어떻게 비교되는가?

주요 결과

• IDR은 DTU MVS 데이터셋에서 고정 카메라 및 학습 카메라 설정 모두에서 Chamfer 거리와 PSNR 면에서 최첨단 또는 경쟁력 있는 3D 표면 재구성 성능을 달성한다.
• 신경 렌더러에 표면 법선을 도입하는 것은 기하–외관 분리에 필요하며 기하 정확도와 렌더링 품질을 향상시킨다.
• 모델은 watertight 표면 재구성하면서 카메라 추정치를 개선할 수 있으며 알려지지 않은 카메라 조건에서 Fountain 데이터세트에서 베이스라인보다 카메라 정확도에서 우수하다.
• 공정에서 시점 방향, 법선, 글로벌 특징 벡터를 제거하면 재구성 품질이 저하되어, 정확한 렌더링과 기하를 위해 각 구성 요소의 중요성을 강조한다.