[논문 리뷰] Neural Reflectance Fields for Appearance Acquisition

Sai Bi, Zexiang Xu외 7명|arXiv (Cornell University)|2020. 08. 09.

Computer Graphics and Visualization Techniques참고 문헌 57인용 수 111

한 줄 요약

신경 반사 필드(Neural Reflectance Fields)를 소개하며, 기하학 및 반사를 연속적으로 표현하는 신경 표현과 미분 가능하고 반사 인식 레이 마칭 렌더러를 결합해, 비구조적 플래시 이미지로부터 시점 합성, 재조명, 씬 합성을 가능하게 한다.

ABSTRACT

We present Neural Reflectance Fields, a novel deep scene representation that encodes volume density, normal and reflectance properties at any 3D point in a scene using a fully-connected neural network. We combine this representation with a physically-based differentiable ray marching framework that can render images from a neural reflectance field under any viewpoint and light. We demonstrate that neural reflectance fields can be estimated from images captured with a simple collocated camera-light setup, and accurately model the appearance of real-world scenes with complex geometry and reflectance. Once estimated, they can be used to render photo-realistic images under novel viewpoint and (non-collocated) lighting conditions and accurately reproduce challenging effects like specularities, shadows and occlusions. This allows us to perform high-quality view synthesis and relighting that is significantly better than previous methods. We also demonstrate that we can compose the estimated neural reflectance field of a real scene with traditional scene models and render them using standard Monte Carlo rendering engines. Our work thus enables a complete pipeline from high-quality and practical appearance acquisition to 3D scene composition and rendering.

연구 동기 및 목표

• 실제 실제 씬의 외관 획득을 명시적 기하 재구성 없이 추진한다.
• 기하, 반사도, 부피 밀도를 모델링하는 신경적이고 연속적인 표현을 제안한다.
• 미분 가능하고 반사 인식 레이 마칭 렌더링 파이프라인을 개발한다.
• 동일 위치의 카메라-플래시 이미지를 사용한 실용적 캡처 설정에서 신경 반사 필드를 학습할 수 있음을 보인다.
• 전통 렌더러를 활용한 시점 합성, 재조명, 씬 합성의 응용을 보여준다.

제안 방법

• 밀도, 법선, 반사 매개변수를 출력하는 MLP를 사용하여 임의의 3D 포인트에서 장면 속성을 표현한다.
• 임의의 뷰와 조명에서 방사도를 렌더링하기 위해 미분 가능 레이 마칭 방정식을 사용한다.
• 렌더링 방정식에 고전적 반사 모델을 포함하여 재조명 및 그림자를 가능하게 한다.
• 거친-정밀 적응 샘플링 체계를 사용하여 동시 위치 카메라-플래시 이미지로부터 네트워크를 학습한다.
• 비동일 위치 조명에서도 효율적으로 렌더링하기 위해 적응형 광 투과 부피를 사전 계산한다.
• 필요에 따라 모피/다른 반사 모델로 확장하고 표준 렌더러의 전통 3D 모델과 합성한다.

실험 결과

연구 질문

• RQ1 신경 필드가 장면 기하와 반사 특성을 함께 모델링하여 고충실도 외관 재현을 가능하게 할 수 있는가?
• RQ2 동일 위치의 카메라-플래시 캡처가 실제 씬의 신경 반사 필드를 학습하기에 충분한 정보를 제공하는가?
• RQ3 결과 표현이 새로운 조명과 시점에서 현실적인 시점 합성, 재조명, 씬 합성을 지원하는가?
• RQ4 미분 가능 레이 마칭을 고전적 반사 모델과 결합하여 학습을 규제하고 그림자를 가능하게 할 수 있는가?

주요 결과

• 신경 반사 필드는 복잡한 기하와 반사를 정확하게 모델링하고 새로운 시점과 조명에서 사진-현실에 근접한 이미지를 렌더링한다.
• 이 접근 방식은 도전적인 실제 씬에서 최첨단 메시 기반 및 이산 부피 방법보다 우수한 성능을 보인다.
• 프레임워크는 재조명과 정확한 그림자, 스펙ULAR리티, 가림을 지원한다.
• 신경 필드를 전통적인 3D 모델과 합성하고 표준 몬테카를로 렌더러에서 렌더링할 수 있다.
• 동일 위치의 플래시 이미지에서의 학습은 간단한 휴대형 캡처 설정으로도 실용적이다.