[논문 리뷰] Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images

Sai Bi, Zexiang Xu외 5명|arXiv (Cornell University)|2020. 07. 20.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

이 논문은 스마트폰으로 촬영한 비정형 다중 시점 플래시 이미지에서 고해상도 3D 시점 기하학 및 외관을 복원하는 딥러닝 프레임워크인 Deep Reflectance Volumes를 제안한다. 투명도, 표면 법선, 공간적으로 변화하는 반사율(알베도, 거칠기)의 부피 표현을 학습하고, 미분 가능하며 물리 기반의 레이 마이징 렌더러를 사용함으로써, 새로운 시점의 실사 수준의 렌더링과 임의의 조명 조건 하에서의 재조명이 가능해지며, 메쉬 기반 기준선보다 뛰어난 성능을 보이며 직관적인 재질 편집을 지원한다.

ABSTRACT

We present a deep learning approach to reconstruct scene appearance from unstructured images captured under collocated point lighting. At the heart of Deep Reflectance Volumes is a novel volumetric scene representation consisting of opacity, surface normal and reflectance voxel grids. We present a novel physically-based differentiable volume ray marching framework to render these scene volumes under arbitrary viewpoint and lighting. This allows us to optimize the scene volumes to minimize the error between their rendered images and the captured images. Our method is able to reconstruct real scenes with challenging non-Lambertian reflectance and complex geometry with occlusions and shadowing. Moreover, it accurately generalizes to novel viewpoints and lighting, including non-collocated lighting, rendering photorealistic images that are significantly better than state-of-the-art mesh-based methods. We also show that our learned reflectance volumes are editable, allowing for modifying the materials of the captured scenes.

연구 동기 및 목표

• 소비자용 기기로 촬영한 비정형 다중 시점 플래시 이미지를 사용하여 고품질이고 실용적인 3D 시점 복원 및 재조명을 가능하게 하기 위해.
• 메쉬 기반 복원의 국한된 성능을 극복하기 위해 비라운드 반사율 및 무문자 영역에서의 기하학과 반사율을 부피 표현으로 학습하기 위해.
• 비정형 조명 조건과 시점에서도 새로운 뷰 시각화 및 재조명을 지원하기 위해, 특히 조명이 공통되지 않는 설정도 포함하여.
• 학습된 부피 표현에서 기하학과 반사율을 분리함으로써 직관적인 재질 편집을 가능하게 하기 위해.
• 부피 네트워크 내의 딥 프리오르가 직접 볼륨 최적화보다 최적화 안정성과 일반화 능력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 다중 시점 플래시 이미지에서 투명도, 표면 법선, 알베도, 거칠기 부피로 구성된 3D 부피 표현을 학습한다.
• 딥 네ural 네트워크는 학습된 인코딩 벡터에서 기하학과 반사율을 디코딩하며, 네트워크 파라미터는 각 시점 별로 최적화된다.
• 미분 가능하고 물리 기반의 부피 레이 마이징 렌더러는 국소 법선과 반사율을 사용하여 음영을 계산하고, 뷰 및 조명 방향에서 레이를 따라 색상과 투명도를 누적한다.
• 투명도를 전역적으로 학습함으로써, 훈련 이미지에 그림자가 없더라도 새로운 조명 조건에서 정확한 딱딱한 그림자 렌더링이 가능하다.
• 반사율 부피는 기존 방법이 단일 색상 볼륨을 사용하는 것과 달리, 공간적으로 변화하는 시점 및 조명 의존적 효과(예: 반사광, 광택)를 모델링한다.
• 훈련 중에 렌더링된 이미지와 촬영된 이미지 간의 픽셀 단위 재구성 오차를 최소화하는 최적화를 수행하며, 추론 시 자유로운 시점 및 조명 제어가 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크는 스마트폰 플래시 이미지에서 비정형 다중 시점 촬영을 통해 복잡한 실제 시점의 비라운드 반사율과 음영을 어떻게 복원할 수 있는가?
• RQ2 학습된 투명도, 법선 및 반사율을 포함한 부피 표현은 임의의 조명 조건과 시점에서 정확한 재조명을 가능하게 하는가?
• RQ3 미분 가능하고 물리 기반의 부피 렌더링 프레임워크는 뷰 시각화 및 재조명 품질에서 메쉬 기반 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 학습된 반사율 부피는 기하학이나 색상에 영향을 주지 않고도 직관적인 재질 편집을 가능하게 하는가?
• RQ5 딥 프리오르를 통합함으로써 직접 볼륨 최적화보다 최적화 수렴성과 일반화 능력이 향상되는가?

주요 결과

• 이 방법은 특히 반사광, 그림자 및 비라운드 재질 처리에서 최신 메쉬 기반 방법보다 현저히 뛰어난 실사 수준의 렌더링 품질을 달성한다.
• 200장의 훈련 이미지를 사용할 경우, 전체 385장의 이미지 세트와 유사한 PSNR 및 SSIM 성능을 달성하여 중간 수준의 입력 감소에 대한 강건성을 보였다.
• 100장 미만의 훈련 이미지로는 기하학적 및 광학적 제약이 부족하여 성능이 뚜렷이 저하된다.
• 딥 프리오르 기반 최적화는 직접 볼륨 최적화보다 훨씬 더 신속하게 수렴함으로써 네트워크 아키텍처에서 유도된 인덕티브 바이어스의 효과를 입증한다.
• 거칠기 부피를 수정함으로써 재질 편집을 성공적으로 수행하였으며, 원본 시점에 존재하지 않았던 현실적인 광택 효과를 생성하였다.
• 학습된 반사율 부피는 기하학과 반사율을 분리하여 구성 요소별 편집이 가능하게 하였으며, 다른 시점 특성에 영향을 주지 않았다.