[논문 리뷰] A Neural Rendering Framework for Free-Viewpoint Relighting

Zhang Chen, Anpei Chen외 5명|arXiv (Cornell University)|2019. 11. 26.

Computer Graphics and Visualization Techniques참고 문헌 59인용 수 5

한 줄 요약

이 논문은 환경 조명, 물체의 내재적 특성, 조도 전송 함수(LTF)를 학습 가능한 구성 요소로 명시적으로 모델링함으로써 동시에 자유 시점 렌더링과 재조명이 가능한 Relightable Neural Renderer(RNR)를 제안한다. 물리 기반 렌더링 과정을 통합함으로써 RNR는 시뮬레이션 및 재조명 성능에서 최신 기법들을 능가하며, 합성 및 실세계 데이터셋 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

We present a novel Relightable Neural Renderer (RNR) for simultaneous view synthesis and relighting using multi-view image inputs. Existing neural rendering (NR) does not explicitly model the physical rendering process and hence has limited capabilities on relighting. RNR instead models image formation in terms of environment lighting, object intrinsic attributes, and light transport function (LTF), each corresponding to a learnable component. In particular, the incorporation of a physically based rendering process not only enables relighting but also improves the quality of view synthesis. Comprehensive experiments on synthetic and real data show that RNR provides a practical and effective solution for conducting free-viewpoint relighting.

연구 동기 및 목표

• 기존의 신경 렌더링 기법이 이미지 형성 과정을 암묵적으로 모델링함으로써 재조명 기능에 한계를 가진다는 문제를 해결하기 위해.
• 통제되지 않은 조명 조건 하에서 다중 시점 이미지로부터 동시에 고품질의 새로운 시점 렌더링과 재조명을 가능하게 하기 위해.
• 조명, 내재적 특성, 조도 전송을 물리적으로 의미 있는 구성 요소로 명시적으로 분리함으로써 렌더링 품질을 향상시키기 위해.
• 고정된 조명 또는 시점 외부로 확장하기 위해 전체 렌더링 파이프라인을 종단 간(end-to-end)으로 모델링함으로써 신경 렌더링 기능을 확장하기 위해.
• 실세계 및 합성 시나리오에서 자유 시점 재조명을 위한 실용적이고 효과적인 솔루션을 제공하기 위해.

제안 방법

• RNR는 이미지 형성 과정을 환경 조명, 물체의 내재적 특성, 조도 전송 함수(LTF)로 구성되는 세 가지 학습 가능한 구성 요소로 분해한다.
• 조명, 재질, 전송 구성 요소를 통합하는 유연성 있는 물리 기반 전방 투영 방식을 사용하여 렌더링 과정을 모델링한다.
• LTF는 전통적인 매개변수화된 BRDF 모델을 대체하여 글로벌 조명 효과를 더 정확하게 모델링할 수 있도록 한다.
• 재구성, 인지적, 적대적 손실의 조합을 사용하여 종단 간 학습을 통해 렌더링 및 재조명 성능을 최적화한다.
• 3D 프록시(SfM에서 유도된 예: 3D 프록시)를 기하학적 감독으로 사용하고, 유연성 있는 렌더링 연산을 통해 깊이 특징을 투영한다.
• 동일한 아키텍처를 사용하여 렌더링과 재조명을 모두 지원하며, 학습된 조명 구성 요소를 조작함으로써 재조명을 구현한다.

실험 결과

연구 질문

• RQ1 명시적인 물리 기반 렌더링 구성 요소 모델링을 통해 신경 렌더링 프레임워크가 동시에 고품질의 렌더링과 재조명을 달성할 수 있는가?
• RQ2 학습 가능한 조도 전송 함수(LTF)를 통합함으로써 암묵적 신경 렌더링 대비 재조명 정확도와 렌더링 품질은 얼마나 향상되는가?
• RQ3 희박한 시점과 완벽하지 않은 기하 구조를 가진 실세계 시나리오에 대해 RNR는 어느 정도 일반화 가능한가?
• RQ4 다양한 조명 및 시점 조건 하에서 RNR는 최신 기법들과 비교해 렌더링 및 재조명 성능에서 어떤가?
• RQ5 초기 조명이 불완전하거나 부분적으로 조합된 경우에도 RNR는 일관된 재조명 결과를 생성할 수 있는가?

주요 결과

• 합성 데이터에서 RNR는 Bunny 데이터셋에서 PSNR 30.87, SSIM 0.94를 기록하여 DeepVoxels(17.97/0.76)와 DeferredNR(24.38/0.81)를 크게 앞서며 뛰어난 성능을 보였다.
• 실세계 시나리오(Behavior, Apple, Dyck)에서 RNR는 모든 테스트 기법 대비 최고의 PSNR와 SSIM 성능을 기록했으며, 날카운 세부 사항 유지와 더불어 잡음 감소를 보였다.
• 시점 외삽 작업에서 RNR는 잘못된 반사나 색상 블록 등의 시각적 잡음이 발생하는 DeferredNR보다 더 일관된 결과를 생성했다.
• 자연 조명 하의 다중 시점 물체 데이터베이스에서의 Pig 시나리오에서, 낮은 학습 시점 수와 정확하지 않은 카메라 파rameter로 인한 도전에도 불구하고 RNR는 [54]보다 더 현실적인 재조명 결과를 생성했다.
• 부분적으로 손상된 환경 맵에 대해서도 RNR는 입력 시점에서 제공되는 환경 맵의 작은 부분조차도 활용해 타당한 재조명 결과를 성공적으로 생성함으로써 강인함을 입증했다.
• 제거 실험 결과, 재구성, 인지적, 적대적 손실의 조합이 렌더링 및 재조명 양 측면에서 최고의 성능을 내는 것으로 확인되었다.