[논문 리뷰] Object-Centric Neural Scene Rendering

Michelle Guo, Alireza Fathi외 2명|arXiv (Cornell University)|2020. 12. 15.

Computer Graphics and Visualization Techniques참고 문헌 47인용 수 56

한 줄 요약

이 논문은 객체 중심의 신경 산란 함수(OSF)를 도입하여 개별 객체의 빛 전달과 체적 경로 추적을 결합해 새로운 조명 하에서 재학습 없이 장면 구성이 가능한 photorealistic 다이내믹 신을 렌더링합니다.

ABSTRACT

We present a method for composing photorealistic scenes from captured images of objects. Our work builds upon neural radiance fields (NeRFs), which implicitly model the volumetric density and directionally-emitted radiance of a scene. While NeRFs synthesize realistic pictures, they only model static scenes and are closely tied to specific imaging conditions. This property makes NeRFs hard to generalize to new scenarios, including new lighting or new arrangements of objects. Instead of learning a scene radiance field as a NeRF does, we propose to learn object-centric neural scattering functions (OSFs), a representation that models per-object light transport implicitly using a lighting- and view-dependent neural network. This enables rendering scenes even when objects or lights move, without retraining. Combined with a volumetric path tracing procedure, our framework is capable of rendering both intra- and inter-object light transport effects including occlusions, specularities, shadows, and indirect illumination. We evaluate our approach on scene composition and show that it generalizes to novel illumination conditions, producing photorealistic, physically accurate renderings of multi-object scenes.

연구 동기 및 목표

• 움직이는 물체와 조명이 있는 포토리얼리스틱 다이내믹 신 렌더링의 도전 과제를 제시합니다.
• 장면 간 재사용이 가능한 뷰-및 광 의존적 per-object 산란 표현을 제안합니다.
• 객체 간 빛 전달을 포착하기 위해 per-object 산란을 체적 경로 추적과 통합하는 방법을 보여줍니다.
• 재학습 없이 새로운 조명과 물체 배열을 이용한 장면 구성을 시연합니다.
• 새로운 조명, 물체 배치, 환경 맵에 대한 일반화 성능을 평가합니다.

제안 방법

• 각 물체를 (x, y, z, 입사 방향, 탈출 방향)에서 밀도와 산란 분수를 매핑하는 7D 객체 중심 신경 산란 함수(OSF)로 표현합니다.
• 고주파 변화를 포착하기 위해 위치 인코딩을 적용하고 OSF를 MLP로 근사합니다.
• 장면 배치와 무관하게 객체 고유 프레임에서 OSF를 학습하고, 역변환을 통해 장면 간 재사용을 가능하게 합니다.
• OSF를 체적 경로 추적과 통합하여 물체 내부 전달(물체 내)과 물체 간 전달을 모델링합니다.
• 레이 샘플링을 통해 직접 조명, 그림자, 그리고 몬테카를로 경로 추적을 통한 간접 조명을 계산하여 장면을 렌더링합니다.
• 재학습 없이 움직이는 광원, 카메라, 물체를 지원하는 렌더링 파이프라인을 제공합니다.

실험 결과

연구 질문

• RQ1 OSF가 물체별로 학습되었을 때 재학습 없이 새로운 조명과 물체 배치에 일반화할 수 있는가?
• RQ2 OSF와 체적 경로 추적을 결합한 경우 다물체 장면에서 그림자와 간접 조명을 얼마나 잘 재현하는가?
• RQ3 물체별 분해가 움직이는 광원과 물체를 포함한 현실적인 장면 구성을 가능하게 하는가?
• RQ4 다이나믹 조명 상황에서 NeRF 기반 기준선에 비해 성능 및 렌더링 품질의 trade-off는 무엇인가?

주요 결과

데이터셋	방법	PSNR	SSIM	LPIPS
Furniture-Single	o-NeRF [23]	33.22	0.980	0.021
Furniture-Single	OSF (ours)	44.07	0.998	0.002
Furniture-Random	NeRF [23]	12.17	0.690	0.280
Furniture-Random	o-NeRF + S [23]	14.70	0.697	0.267
Furniture-Random	OSF (Ours)	19.02	0.793	0.135

• OSF는 단일 물체의 새로운 조명에서 o-NeRF에 비해 더 높은 PSNR과 거의 완벽에 가까운 SSIM을 달성하고 LPIPS가 더 작습니다(PSNR 44.07 대 33.22; SSIM 0.998 대 0.980; LPIPS 0.002 대 0.021).
• 무작위 조명하에서의 장면 구성에서 OSF는 NeRF 계열 기준선보다 우수합니다(PSNR 19.02 대 12.17; SSIM 0.793 대 0.690; LPIPS 0.135 대 0.280).
• OSF는 기준 방법들에 없던 물체 간 그림자와 간접 조명을 렌더링할 수 있습니다.
• 환경 맵을 포함한 복잡한 조명에서도 그럴듯한 색 편향과 물체 간 빛 전달 효과를 생성합니다.
• ablation 연구에서 그림자와 간접 조명을 포함한 전체 OSF가 가장 현실적인 렌더링을 제공합니다.