[논문 리뷰] Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

Vincent Sitzmann, Michael Zollhöfer외 1명|arXiv (Cornell University)|2019. 06. 04.

Face recognition and analysis인용 수 679

한 줄 요약

SRNs는 연속적인 3D 구조를 고려한 신경 씬 표현과 차분 가능한 렌더러를 제안하며, 자세가 주어진 2D 이미지로부터 기하학 및 외관을 학습하여 3D 감독 없이도 새로운 시점 합성 및 소수-shot 재구성을 가능하게 합니다.

ABSTRACT

Unsupervised learning with generative models has the potential of discovering rich representations of 3D scenes. While geometric deep learning has explored 3D-structure-aware representations of scene geometry, these models typically require explicit 3D supervision. Emerging neural scene representations can be trained only with posed 2D images, but existing methods ignore the three-dimensional structure of scenes. We propose Scene Representation Networks (SRNs), a continuous, 3D-structure-aware scene representation that encodes both geometry and appearance. SRNs represent scenes as continuous functions that map world coordinates to a feature representation of local scene properties. By formulating the image formation as a differentiable ray-marching algorithm, SRNs can be trained end-to-end from only 2D images and their camera poses, without access to depth or shape. This formulation naturally generalizes across scenes, learning powerful geometry and appearance priors in the process. We demonstrate the potential of SRNs by evaluating them for novel view synthesis, few-shot reconstruction, joint shape and appearance interpolation, and unsupervised discovery of a non-rigid face model.

연구 동기 및 목표

• 명시적 3D 감독 없이 2D 이미지로부터 풍부한 3D 씬 표현을 비지도적으로 발견하도록 동기를 부여한다.
• 기하학 및 외관을 인코딩하는 피처 벡터로 3D 좌표를 매핑하는 연속적인 씬 표현을 도입한다.
• 임의의 시점에서 이미지를 렌더링하기 위한 신경 렌더러를 차분 가능하게 하는 레이 마칭을 도입한다.
• 새로운 시점 합성, 소수-shot 재구성 및 비강성 얼굴 모델의 발견 등 응용을 보여준다.

제안 방법

• 장면을 Phi: R^3 -> R^n 로서 세계 좌표를 피처 벡터로 매핑하는 함수로 표현한다.
• 학습된 레이 마처(RM-LSTM)와 픽셀당 MLP 색상 매퍼로 구성된 차분 가능한 신경 렌더러 Theta를 사용한다.
• RM-LSTM으로 스텝 크기를 예측하고 차분 가능한 레이 마칭을 통해 레이-씬 교차를 해석하여 렌더링한다.
• 명시적 3D 감독 없이 자세가 있는 2D 이미지로부터 엔드 투 엔드 학습을 허용한다.
• 잠재 코드 z_j를 씬 매개변수 phi_j로 매핑하는 Hypernetwork Psi를 학습하여 씬 간 일반화를 가능하게 하고 인스턴스 간 공유 렌더링을 가능하게 한다.
• 이미지 손실, 깊이 규제, 잠재 공간 사전 분포를 포함한 합성 목표를 최적화한다.

실험 결과

연구 질문

• RQ1 포즈가 있는 2D 이미지로 학습된 연속적이고 3D 구조를 고려한 씬 표현이 다중 시점에서 일관된 새로운 시점 합성을 지원하는가?
• RQ2 SRNs가 클래스 내의 인스턴스 간에 일반화되는 기하학 및 외관의 사전 지식을 얼마나 학습할 수 있는가?
• RQ3 3D 감독 없이 소수-shot 재구성과 잠재적 비강체 변형(예: 얼굴)을 발견하는 데 SRNs가 얼마나 잘 수행하는가?

주요 결과

• SRNs는 다중 시점에서 일관된 새로운 시점 합성을 달성하고 벤치마크 과제에서 여러 기준선보다 우수하다.
• SRNs는 소수-shot 재구성을 수행하고 기하학과 외관을 재구성하며 객체 인스턴스 간 잠재 공간 보간을 가능하게 한다.
• 모델은 자세가 있는 2D 이미지만으로 비감독적으로 기하학과 비강체 변형(예: 얼굴 모델)을 발견할 수 있다.
• 카메라 포즈와 내부 파라미터가 보지 않은 구성을 일반화하여 포즈 외삽 및 클로즈업 렌더링을 가능하게 한다.
• 픽셀당 색상 매퍼와 차분 가능한 레이 마칭의 결합은 2D 컨볼루션에 의존하지 않고 다중 뷰 일관성을 유지한다.