[논문 리뷰] Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image

Zhengqin Li, Mohammad Shafiei외 3명|arXiv (Cornell University)|2019. 05. 07.

Computer Graphics and Visualization Techniques참고 문헌 5인용 수 16

한 줄 요약

이 논문은 단일 RGB 이미지에서 복잡한 실내 환경의 형상, 공간적으로 변하는 조명, 공간적으로 변하는 BRDF를 복원하는 딥 인버스 렌더링 프레임워크를 제안한다. 물리 기반 GPU 렌더러와 기울기 전파 가능한 렌더링 및 SVSG 조명을 사용하는 계층적 네트워크를 결합함으로써, 공동 복원 성능이 최신 기술 수준에 도달하여 물체 삽입 및 재질 편집과 같은 사진 수준의 응용이 가능해진다.

ABSTRACT

We propose a deep inverse rendering framework for indoor scenes. From a single RGB image of an arbitrary indoor scene, we create a complete scene reconstruction, estimating shape, spatially-varying lighting, and spatially-varying, non-Lambertian surface reflectance. To train this network, we augment the SUNCG indoor scene dataset with real-world materials and render them with a fast, high-quality, physically-based GPU renderer to create a large-scale, photorealistic indoor dataset. Our inverse rendering network incorporates physical insights -- including a spatially-varying spherical Gaussian lighting representation, a differentiable rendering layer to model scene appearance, a cascade structure to iteratively refine the predictions and a bilateral solver for refinement -- allowing us to jointly reason about shape, lighting, and reflectance. Experiments show that our framework outperforms previous methods for estimating individual scene components, which also enables various novel applications for augmented reality, such as photorealistic object insertion and material editing. Code and data will be made publicly available.

연구 동기 및 목표

• 단일 이미지에 뒤섞인 형상, 조명, 반사 특성으로 인해 해가 불명확한 실내 환경에서의 인버스 렌더링 문제를 해결하기 위해.
• 단일 RGB 이미지에서 기하학, 공간적으로 변하는 조명, 비 람베르트 반사 물체를 동시에 종합적으로 복원하기 위해.
• 이전 방법들이 단일 물체나 균일한 조명과 같은 제한된 설정에 국한된 구성 요소에만 초점을 맞추는 데서 비롯되는 한계를 극복하기 위해.
• SUNCG에 고품질의 실제 3D 재질을 추가하고 물리 기반 GPU 렌더러로 렌더링하여 대규모 사진 수준의 합성 데이터셋을 생성하기 위해.
• 조명 전달 효과인 음영과 상호 반사 등을 공간적으로 변하는 구면 가우시안을 사용해 모델링하는 기울기 전파 가능한 네트워크 내부의 렌더링 레이어를 개발하기 위해.

제안 방법

• 형상, 반사율, 법선, 거칠기, 조명 예측을 반복적으로 개선하기 위해 딥 신경망의 계층적 조합을 사용한다.
• 기울기 전파 가능한 렌더링 레이어가 공간적으로 변하는 구면 가우시안(SVSG)을 사용하여 장면의 조도를 계산함으로써, 국소적 조명 전달 효과를 고려한다.
• 학습 데이터셋은 SUNCG의 재질을 실제 3D 재질 데이터셋에서 가져온 사진 수준의 SVBRDF로 교체하고, 깊이 특징을 통해 장면의 의미를 유지하여 합성한다.
• 사람의 시각적 인식, 기하학, 반사 특성, 렌더링 손실을 포함하는 다중 구성 요소 손실 함수를 사용하여, 사진 수준의 출력을 보장한다.
• 최종 예측의 공간 일관성을 향상시키고 아티팩트를 줄이기 위해 정밀한 보정 단계에서 양방향 솔버를 적용한다.
• 데이터 증강 및 순서 반사 특성 감독을 사용하여 합성 및 실제 데이터를 혼합한 방식으로 IIW 및 NYU 실제 데이터셋에서의 미세 조정을 수행한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 단일 RGB 이미지에서 복잡한 실내 환경의 형상, 공간적으로 변하는 조명, 공간적으로 변하는 BRDF를 동시에 복원할 수 있는가?
• RQ2 조명 전달 및 BRDF 모델과 같은 물리적 사전 지식을 딥 러닝 프레임워크에 통합하여 복원 품질과 일반화 능력을 향상시킬 수 있는가?
• RQ3 실제 세계 재질과 물리 기반 렌더링을 추가한 합성 데이터셋이 실제 이미지로의 일반화에 얼마나 기여하는가?
• RQ4 기울기 전파 가능한 렌더링 레이어를 통해 고주파 조명 및 그림자 효과를 유지하면서 종단 간 훈련을 가능하게 할 수 있는가?
• RQ5 반복적 개선을 수행하는 계층적 아키텍처가 인버스 렌더링 구성 요소의 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 및 실제 데이터에서의 정량적 지표를 기준으로 형상, 조명, 반사 특성 등 개별 장면 구성 요소를 복원하는 데 이전 최신 기술보다 뛰어난 성능을 보였다.
• 실제 이미지에서 빛나는 표면을 가진 물체의 사진 수준의 가상 삽입이 가능했으며, 자연스러운 그림자와 상호 반사 효과를 보였다.
• 표면 재질을 교체함으로써 재질 편집이 성공적으로 수행되었으며, 반사광 반사점까지도 정확한 조명 상호작용을 유지했다.
• IIW 및 NYU 실제 데이터셋에서의 미세 조정을 통해 일반화 능력이 향상되었으며, 합성 데이터로 훈련된 모델이 실제 이미지에서도 고품질 결과를 생성했다.
• 공간적으로 변하는 구면 가우시안(SVSG)의 사용으로 고주파 조명 및 복잡한 조명 전달, 음영 및 상호 반사 효과를 정확하게 모델링할 수 있었다.
• 기울기 전파 가능한 렌더링 레이어 덕분에 렌더링 과정을 통해 역전파가 가능해져 기하학, 반사 특성, 조명을 함께 최적화할 수 있었다.