[논문 리뷰] PhySG: Inverse Rendering with Spherical Gaussians for Physics-based Material Editing and Relighting

Kai Zhang, Fujun Luan외 3명|arXiv (Cornell University)|2021. 04. 01.

Computer Graphics and Visualization Techniques인용 수 9

한 줄 요약

PhySG는 정적 자연 조명 하에서 다중 시야 RGB 이미지로부터 기하학, 재질, 조명을 동시에 재구성하는 엔드 투 엔드 미분 가능 역방사광 렌더링 파이프라인을 제안한다. BRDF와 환경 맵을 구면 가우시안으로 표현하고 기하학을 신경 SDF로 표현함으로써 정확한 새로운 시야 합성, 재조명, 물리 기반 재질 편집을 가능하게 하며, 반사광을 처리하는 데서 비물리적 신경 렌더링 기준보다 뛰어난 성능을 발휘한다.

ABSTRACT

We present PhySG, an end-to-end inverse rendering pipeline that includes a fully differentiable renderer and can reconstruct geometry, materials, and illumination from scratch from a set of RGB input images. Our framework represents specular BRDFs and environmental illumination using mixtures of spherical Gaussians, and represents geometry as a signed distance function parameterized as a Multi-Layer Perceptron. The use of spherical Gaussians allows us to efficiently solve for approximate light transport, and our method works on scenes with challenging non-Lambertian reflectance captured under natural, static illumination. We demonstrate, with both synthetic and real data, that our reconstructions not only enable rendering of novel viewpoints, but also physics-based appearance editing of materials and illumination.

연구 동기 및 목표

• RGBD나 통제된 조명이 없는 정적 자연 조명 조건에서 다중 시야 RGB 이미지로부터 기하학, 재질, 조명을 동시에 재구성하는 도전 과제를 해결하기 위해.
• 조명과 재질 특성을 분리함으로써 물리적으로 타당한 외관 편집과 재조명을 가능하게 하기 위해.
• 외관을 단일 신경 표면 빛장으로 모델링하는 신경 렌더링 방법의 한계를 극복하기 위해.
• 효율적인 빛 전달 근사화를 위해 구면 가우시안을 사용하는 완전히 미분 가능한 렌더러를 개발하여 엔드 투 엔드 최적화를 지원하기 위해.
• 약한 반사광과 비라운드 반사 특성을 가진 실제 글로스 재료에 대한 적용 가능성을 확보하기 위해.

제안 방법

• 기하학은 다층 퍼셉트론(MLP)으로 매개변수화된 부호 거리 함수(SDF)로 표현되어 암시적 표면 표현을 가능하게 한다.
• 반사 BRDF와 환경 조명은 구면 가우시안(SGs)의 혼합으로 모델링되어 렌더링 방정식의 폐쇄형, 미분 가능한 평가를 가능하게 한다.
• 전체 파이프라인이 엔드 투 엔드로 미분 가능하여, 사진학적 손실을 사용한 2D 이미지 감독 하에 기하학, 재질, 조명을 동시에 최적화할 수 있다.
• 구면 가우시안은 렌더링 방정식을 근사화하여 몬테카를로 샘플링 없이도 효율적이고 미분 가능한 빛 전달 계산을 가능하게 한다.
• 역방사광 렌더링에서의 척도 모호성을 해결하기 위해 반사 알베도에 스케일 정렬 전략을 적용하여 시각적 정밀도를 향상시켰다.
• 시점 의존 효과를 지원하는 미분 가능한 렌더러를 사용하여 훈련함으로써 반사광의 정확한 합성을 가능하게 하였다.

Figure 1 : PhySG performs physics-based inverse rendering by taking as input multi-view images of a static glossy object under static natural illumination and jointly optimizes for geometry (represented by an SDF), material BRDF and environment maps (both represented by a mixture of spherical Gaussi

실험 결과

연구 질문

• RQ1 정적 자연 조명 하에서 다중 시야 RGB 이미지로부터 기하학, 재질, 조명을 동시에 재구성할 수 있는 완전히 미분 가능한 역방사광 렌더링 파이프라인이 가능한가?
• RQ2 구면 가우시안은 다양한 반사 및 글로스 재료의 복잡한 빛 전달을 미분 가능한 렌더링 프레임워크에서 얼마나 잘 근사할 수 있는가?
• RQ3 기하학적 사전 지식이나 통제된 조명 없이도 물리적으로 직관적인 재질 편집과 재조명을 가능하게 할 수 있는가?
• RQ4 어려운 비라운드 반사 특성과 약한 반사광을 가진 실제 데이터에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 간접 조명과 공간적으로 변화하는 BRDF를 처리하는 데서 이 방법의 한계는 무엇인가?

주요 결과

• PhySG는 합성 및 실제 데이터에서 새로운 시야 합성 성능에서 최신 기준을 달성하며, 반사광 처리에서 NeRF, IDR, DVR을 모두 능가한다.
• 매우 약한 반사광을 가진 이미지에서도 신뢰할 수 있는 환경 맵 재구성을 성공적으로 수행하여 낮은 반사율에 대한 강건성을 입증하였다.
• 구면 가우시안 표현을 통한 BRDF와 조명의 분리로 물리 기반 재질 편집과 재조명이 가능해졌다.
• 기하학 재구성 품질은 IDR 수준에 근접하지만, 외관 모델링과 편집 가능성에서 이를 뛰어넘었다.
• 글로스성과 비라운드 반사 특성을 가진 실제 장면에 대해 일반화되어 있으며, 새로운 시야 합성과 편집에서 사진 수준의 결과를 생성하였다.
• 기준 방법인 redner는 구면 초기화에서 최적화를 수렴하지 못하는 등, PhySG의 SDF 기반 암시적 기하학의 우수성을 보여주었다.

Figure 2 : Overview of our PhySG inverse rendering pipeline. To render the color for a camera ray $\mathbf{r}=\mathbf{o}+t\mathbf{d}$ , we first use sphere tracing to find the ray’s intersection $\mathbf{x}$ with the geometry in the form of a signed distance function (SDF) represented as an MLP $S(\