[논문 리뷰] Modeling Indirect Illumination for Inverse Rendering

Yuanqing Zhang, Jiaming Sun외 4명|arXiv (Cornell University)|2022. 04. 14.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 신경 레디언스 필드에서 유도된 방법을 통해 역 렌더링에서 공간적으로 변하는 간접 조명을 효율적으로 모델링하는 방법을 제안한다. 이로 인해 알려지지 않은 조명 조건 하에서 다중 시야 RGB 영상으로부터 그림자 및 상호 반사 없이도 정확한 알베도와 거칠기 복원이 가능해지며, 간접 조명 추정을 공동 최적화에서 분리함으로써 고비용의 재귀 경로 추적을 피하고, 공간적으로 변화하는 BRDF 복원 및 자유 시점 재조명 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent advances in implicit neural representations and differentiable rendering make it possible to simultaneously recover the geometry and materials of an object from multi-view RGB images captured under unknown static illumination. Despite the promising results achieved, indirect illumination is rarely modeled in previous methods, as it requires expensive recursive path tracing which makes the inverse rendering computationally intractable. In this paper, we propose a novel approach to efficiently recovering spatially-varying indirect illumination. The key insight is that indirect illumination can be conveniently derived from the neural radiance field learned from input images instead of being estimated jointly with direct illumination and materials. By properly modeling the indirect illumination and visibility of direct illumination, interreflection- and shadow-free albedo can be recovered. The experiments on both synthetic and real data demonstrate the superior performance of our approach compared to previous work and its capability to synthesize realistic renderings under novel viewpoints and illumination. Our code and data are available at https://zju3dv.github.io/invrender/.

연구 동기 및 목표

• 알려지지 않은 정적 조명 조건 하에서 역 렌더링에서 간접 조명을 모델링하는 데 도전하는 것.
• 물리 기반 렌더링에서 재귀 경로 추적으로 인한 계산 비용 증가 문제를 줄이는 것.
• 기존에는 알베도에 고정되어 들어가게 되는 간접 조명 효과로부터 알베도와 거칠기를 분리하는 것.
• 복원된 SVBRDF 및 조명 파rameter를 사용하여 현실적인 자유 시점 재조명을 가능하게 하는 것.
• 복잡한 재료를 지닌 실세계 물체에 대해 역 렌더링의 정확성과 강인성을 향상시키는 것.

제안 방법

• 먼저 다중 시야 RGB 영상에서 기성의 방법을 사용해 신경 레디언스 필드와 기하 구조를 학습한다.
• 간접 조명은 3D 표면 점을 그들로 들어오는 간접 레디언스로 매핑하는 다층 퍼셉트론(MLP)으로 모델링되며, 학습된 외부 레디언스 필드에서 파생된다.
• 외부 레디언스를 정답으로 사용하여 간접 조명 MLP를 훈련함으로써 재귀 경로 추적 없이도 효율적이고 미분 가능한 추정이 가능해진다.
• 직접 조명의 가시성은 구형 조화 함수(SG) 기반의 가시성 추정을 사용하여 렌더링 정확도를 향상시킨다.
• 공간적으로 변화하는 BRDF(알베도 및 거칠기)를 표현하기 위해 희소 잠재 공간 인코더-디코더를 사용하며, 제한된 재료 유형에 대한 사전 지식을 강제하여 모호성을 줄인다.
• 완전한 렌더링 방정식은 학습된 간접 조명과 고정된 환경 조명을 포함하며, SVBRDF 및 환경 조명 최적화 과정에서 안정적이고 효율적인 역 렌더링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 재귀 경로 추적 없이도 역 렌더링에서 간접 조명을 효율적으로 모델링할 수 있는가?
• RQ2 사전에 훈련된 신경 레디언스 필드에서 유도된 간접 조명을 사용해 기하 구조 및 재료와의 공동 최적화에서 분리할 수 있는가?
• RQ3 간접 조명을 모델링하면 역 렌더링에서 알베도와 거칠기의 분리가 향상되는가?
• RQ4 제안된 방법은 새로운 시점 및 조명 조건 하에서도 고품질의 재조명을 달성할 수 있는가?
• RQ5 기존 기술 대비 제안된 방법은 공간적으로 변화하는 BRDF 복원 및 실세계 재료 처리에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 합성 데이터셋에서 SVBRDF 복원 및 재조명 분야에서 최고의 성능을 기록하며, 베이스라인 방법 및 수정된 PhySG를 능가한다.
• 정량적 결과에 따르면 전체 모델은 합성 테스트 씬에서 PSNR 26.1846, SSIM 0.9902, LPIPS 0.0449의 성능을 달성한다.
• 절단 실험 결과 간접 조명을 생략할 경우 알베도와 환경 조명이 더 밝아지는 것으로 나타나, 간접 조명 효과가 잘못 알베도에 흡수된다는 것을 확인한다.
• SVBRDF에 대한 잠재 공간이 없을 경우 거칠기 예측이 노이즈가 심해지며, 제안된 사전 지식의 중요성을 입증한다.
• 실세계 촬영 데이터에 대해서도 합리적인 알베도, 거칠기, 노멀 맵을 성공적으로 복원하여 새로운 조명 조건 하에서도 현실적인 재조명을 가능하게 한다.
• 시각적 결과 및 보충 영상에서 볼 수 있듯이, 고해상도의 시각적 정확도를 유지하면서 자유 시점 재조명을 지원한다.