[논문 리뷰] Neural Volumes: Learning Dynamic Renderable Volumes from Images

Stephen Lombardi, Tomas Simon외 4명|arXiv (Cornell University)|2019. 06. 18.

Advanced Vision and Imaging참고 문헌 59인용 수 22

한 줄 요약

이 논문은 다중 시야 영상에서 렌더링 가능한 동적 3D 시점을 학습 기반 방법으로 재구성하는 Neural Volumes를 제안한다. 이는 기저의 비가역성 있는 레이 마칭을 갖춘 엔드 투 엔드로 훈련된 인코더-디코더 네트워크를 사용하며, 워프 필드를 통해 동적 비정규 격자 구조를 학습함으로써 메시 재구성 또는 추적 없이 고해상도, 잡음 없는 새로운 시점 렌더링을 달성한다. 이는 머리카락이나smoke와 같은 복잡한 현상의 현실적인 렌더링을 가능하게 한다.

ABSTRACT

Modeling and rendering of dynamic scenes is challenging, as natural scenes often contain complex phenomena such as thin structures, evolving topology, translucency, scattering, occlusion, and biological motion. Mesh-based reconstruction and tracking often fail in these cases, and other approaches (e.g., light field video) typically rely on constrained viewing conditions, which limit interactivity. We circumvent these difficulties by presenting a learning-based approach to representing dynamic objects inspired by the integral projection model used in tomographic imaging. The approach is supervised directly from 2D images in a multi-view capture setting and does not require explicit reconstruction or tracking of the object. Our method has two primary components: an encoder-decoder network that transforms input images into a 3D volume representation, and a differentiable ray-marching operation that enables end-to-end training. By virtue of its 3D representation, our construction extrapolates better to novel viewpoints compared to screen-space rendering techniques. The encoder-decoder architecture learns a latent representation of a dynamic scene that enables us to produce novel content sequences not seen during training. To overcome memory limitations of voxel-based representations, we learn a dynamic irregular grid structure implemented with a warp field during ray-marching. This structure greatly improves the apparent resolution and reduces grid-like artifacts and jagged motion. Finally, we demonstrate how to incorporate surface-based representations into our volumetric-learning framework for applications where the highest resolution is required, using facial performance capture as a case in point.

연구 동기 및 목표

• 기존 메시 기반 방법이 포착하지 못하는 얇은 구조, 반투명성, 위상 변화 등의 복잡한 현상을 포함한 동적 시점을 재구성하는 데 도전하는 것.
• 명시적인 기하 구조 재구성 또는 추적 없이 2D 다중 시야 영상에서 직접 3D 부피 표현을 엔드 투 엔드로 훈련하는 것.
• 레이 마칭 중 워프 필드를 사용하여 동적 비정규 격자 구조를 학습함으로써 부피 표현의 해상도를 향상시키고 격자 아티팩트를 감소시키는 것.
• 신경 부피 표현과 표면 기반 모델을 결합하여 얼굴 특징이나 머리카락과 같은 미세한 디테일의 고해상도 렌더링을 가능하게 하는 것.
• 명시적인 시간 모델링 없이도 학습된 잠재 공간을 통해 새로운 시점과 동적 콘텐츠 생성에 일반화하는 것.

제안 방법

• 다중 시야 RGB 영상에서 3D 부피 표현의 투명도 및 색상 정보를 각 공간 위치에 매핑하기 위해 인코더-디코더 신경망을 사용한다.
• 비가역성 레이 마칭 연산을 통해 레이를 따라 색상과 투명도를 통합하여 렌더링된 영상을 계산하며, 이는 렌더링 과정을 거쳐 기울기 전파를 가능하게 한다.
• 훈련 중에 암시적 워프 필드를 학습하여 기본 박막 격자를 동적으로 변형함으로써 효과적 해상도를 높이고 격자 아티팩트를 감소시킨다.
• 시점 의존성 신경 렌더링을 활용하여 기하 구조와 외관을 공동 최적화함으로써 재구성 정확도의 보완을 가능하게 한다.
• 얼굴 피부나 눈과 같이 미세한 디테일이 필요한 영역에 고해상도 표면 모델(예: 텍스처가 있는 메시)을 통합할 수 있도록 확장할 수 있다.
• 훈련은 기하 구조나 운동에 대한 명시적 지도 없이 영상 영역 손실 함수를 통해 지도 학습되며, 엔드 투 엔드 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 신경망은 메시 재구성 또는 추적 없이 다중 시야 영상에서 직접 동적 3D 부피 표현을 학습할 수 있는가?
• RQ2 비가역성 레이 마칭은 새로운 시점으로의 일반화가 잘 되는 부피 표현의 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ3 학습된 워프 필드는 부피 격자 기반 부피 표현의 효과적 해상도를 향상시키고 아티팩트를 감소시키는가?
• RQ4 기존 방법과 비교해 움직이는 머리카락, 반투명 물체, 연기와 같은 도전적인 동적 시점을 얼마나 잘 재구성하는가?
• RQ5 인코더-디코더 네트워크의 잠재 공간은 훈련 데이터에 없던 실제 동적 콘텐츠 시퀀스를 생성할 수 있는가?

주요 결과

• 이 방법은 움직이는 머리카락, 헝근 장난감, 연기와 같은 도전적인 동적 시점을 고감도의 시각적 품질과 일관된 새로운 시점 렌더링을 통해 성공적으로 재구성한다.
• 비가역성 레이 마칭 연산을 사용함으로써 엔드 투 엔드 훈련이 가능해지고 렌더링 과정을 거쳐 기울기가 전파되며 수렴성과 재구성 품질이 향상된다.
• 학습된 워프 필드는 격자 아티팩트를 크게 감소시키고 시각적 해상도를 향상시켜 표준 박막 격자보다 뛰어난 시각적 정밀도를 달성한다.
• 3D 인식 부피 표현 덕분에 시점 변화가 큰 근접 시점 시나리오에서도 새로운 시점으로의 일반화가 잘 이루어진다.
• 신경 부피와 텍스처가 있는 메시를 얼굴 영역에 결합함으로써 디테일의 정밀도를 향상시켜 부피 전용 또는 메시 전용 접근 방식보다 더 높은 품질의 결과를 달성한다.
• 인코더-디코더 네트워크의 잠재 공간은 훈련 데이터에 없던 동적 콘텐츠 시퀀스를 합리적으로 생성할 수 있으며, 시간 일관성은 입력의 동적 특성에 따라 달라진다.