[논문 리뷰] Shape, Light, and Material Decomposition from Images using Monte Carlo Rendering and Denoising

Jon Hasselgren, Nikolai Hofmann외 1명|arXiv (Cornell University)|2022. 06. 07.

Computer Graphics and Visualization Techniques인용 수 38

한 줄 요약

본 논문은 differentiable Monte Carlo 렌더러를 다중 중요도 샘플링과 디노이징과 결합하여 역 렌더링 파이프라인에 통합해 명시적 삼각 메시, 공간적으로 변화하는 재질, 및 환경 조명을 다중 시점 이미지로 공동 재구성하고, 기존 연구보다 재질/조명 분리 성능을 향상시킨다.

ABSTRACT

Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model, incorporating ray tracing and Monte Carlo integration, substantially improves decomposition into shape, materials & lighting. Unfortunately, Monte Carlo integration provides estimates with significant noise, even at large sample counts, which makes gradient-based inverse rendering very challenging. To address this, we incorporate multiple importance sampling and denoising in a novel inverse rendering pipeline. This substantially improves convergence and enables gradient-based optimization at low sample counts. We present an efficient method to jointly reconstruct geometry (explicit triangle meshes), materials, and lighting, which substantially improves material and light separation compared to previous work. We argue that denoising can become an integral part of high quality inverse rendering pipelines.

연구 동기 및 목표

• 물리 기반의 몬테 카를로 렌더링을 차별화 가능한 역 렌더링 프레임워크에서 사용하여 형태, 재질, 조명의 고유한 분해를 개선하고자 한다.
• PBR 재질과 HDR 환경 조명을 갖춘 명시적 삼각 메시를 지원하도록 기존 표면 기반 재구성 파이프라인을 확장한다.
• 다변량 샘플 수에서의 gradient 기반 최적화를 가능하게 하기 위해 MC 잡음에 대한 분산 감소를 다중 중요도 샘플링과 디노이징으로 달성한다.

제안 방법

• 부호화된 거리장(field)과 marching tetrahedra(DMTet)에서 얻은 명시적 삼각 메쉬를 사용해 토폴로지를 추출한다.
• 레이 트레이싱과 그림자 테스트를 이용한 direct illumination을 계산하는 differentiable Monte Carlo 렌더러로 렌더링하며 Disney BRDF와 탄젠트 공간 법선 맵을 사용한다.
• 고다양도 환경 프로브를 사용해 조명을 표현하고, 기하학, 공간적으로 변화하는 재질, 조명을 reference view와의 광도 손실(photometric loss)로 최적화한다.
• 조명, 확산, 반사 샘플링 간 MIS를 적용하고, 분산-절감 가중치를 통한 균형 휴리스틱으로 MC 분산을 감소시킨다.
• forward-render 품질 향상과 노이즈 제거된 그래디언트를 장면 파라미터로 역전파하기 위해 differentiable denoisers(신경망 및 교차-쌍방향 필터링)를 도입한다.
• 렌더링 방정식을 반사도(albedo), 디모듐화된 확산 조명, 및 스펙ULAR 조명으로 분해해 빛/재질 항의 대상 정규화를 돕는다.

실험 결과

연구 질문

• RQ1 몬테카를로 직접 조명과 디노이징을 갖춘 photorealistic differentiable 렌더러가 다중 시점 이미지에서 형태, 재질, 조명의 분리를 향상시킬 수 있는가?
• RQ2 Explicit geometry 표현( DMTet를 통한 삼각형 )이 물리 기반 음영과 결합될 때 이전 방법들보다 relighting 및 재질 추정이 더 잘 되는가?
• RQ3 MIS와 디노이저 같은 분산 감소 기법이 고주파 조명에서 역 렌더링의 수렴 속도와 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 몬테카를로 직접 조명을 이용한 기하학, 재질, 조명을 공동 최적화하면 재질과 조명 분리가 nvdiffrec와 비교해 향상된다.
• 합성 NeRFactor 데이터셋에서 본 방법은 PSNR 26.0 dB, SSIM 0.924, LPIPS 0.060(NerFactor 합성); 26.5 dB/SSIM 0.932/LPIPS 0.055(NerF 합성); 27.1 dB/SSIM 0.950/LPIPS 0.027(당사 합성) 대 nvdiffrec 24.8 dB/0.910/0.063, 23.3 dB/0.889/0.076, 23.7 dB/0.925/0.049에 비해 재질/조명 분리를 개선한다.
• 네러팩터 합성 및 Nerf 합성 데이터셋의 뷰 보간에서 노이즈 제거를 적용한 본 방법이 각각 29.6 dB/0.951, 28.4 dB/0.938를 달성하는 반면, baseline의 nvdiffrec은 (노이즈 제거 없음) 31.7 dB/0.967 및 30.4 dB/0.958로 나타나 순수한 뷰 합성 품질과 재질/조명 분리 간의 균형을 보여준다.
• 노이즈 제거 및 MIS는 낮은 샘플 수(예: 8 spp)에서 최적화를 크게 향상시키며, 32 spp에 비해 더 빠른 반복과 더 나은 환경 프로브 품질을 제공한다.
• 이 접근법은 명시적 기하학, 재질, 조명을 사용해 실제 세계에 근접한 결과를 제공하고, 향후 도구(예: Blender)에서 relighting 및 재질 편집이 가능하도록 하며 고급 GPU에서의 재구성 시간도 경쟁력을 유지한다.