[论文解读] Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images

Sai Bi, Zexiang Xu+5 more|arXiv (Cornell University)|Jul 20, 2020

Computer Graphics and Visualization Techniques被引用 6

一句话总结

本文提出深度反照率体（Deep Reflectance Volumes），一种深度学习框架，能够从使用手机拍摄的非结构化多视角闪光图像中重建出高保真度的三维场景几何与外观。通过学习不透明度、表面法线以及空间变化的反射率（反照率、粗糙度）的体素表示，并结合可微分的、基于物理的光线追踪渲染器，该方法实现了逼真的新视角合成与任意光照下的再光照效果，优于基于网格的基线方法，并支持直观的材质编辑。

ABSTRACT

We present a deep learning approach to reconstruct scene appearance from unstructured images captured under collocated point lighting. At the heart of Deep Reflectance Volumes is a novel volumetric scene representation consisting of opacity, surface normal and reflectance voxel grids. We present a novel physically-based differentiable volume ray marching framework to render these scene volumes under arbitrary viewpoint and lighting. This allows us to optimize the scene volumes to minimize the error between their rendered images and the captured images. Our method is able to reconstruct real scenes with challenging non-Lambertian reflectance and complex geometry with occlusions and shadowing. Moreover, it accurately generalizes to novel viewpoints and lighting, including non-collocated lighting, rendering photorealistic images that are significantly better than state-of-the-art mesh-based methods. We also show that our learned reflectance volumes are editable, allowing for modifying the materials of the captured scenes.

研究动机与目标

• 利用消费级设备拍摄的非结构化多视角闪光图像，实现高质量且实用的三维场景重建与再光照。
• 通过学习场景几何与反射率的体素表示，解决基于网格的重建方法在非朗伯反射区域与无纹理区域的局限性。
• 支持在任意光照与视角下进行新视角合成与再光照，包括非共轭光源设置。
• 通过在学习的体素表示中解耦几何与反射率，实现直观的材质编辑。
• 证明体素网络中的深度先验相比直接体素优化，能提升优化稳定性与泛化能力。

提出的方法

• 该方法从多视角闪光图像中学习包含不透明度、法线、反照率与粗糙度的三维体素表示。
• 通过深度神经网络从学习的编码向量解码场景几何与反射率，网络参数按场景进行优化。
• 可微分的、基于物理的体素光线追踪渲染器利用局部法线与反射率计算着色，沿来自视角与光源方向的光线累积颜色与不透明度。
• 全局学习不透明度，以在新光照条件下准确渲染硬阴影，即使训练图像中未包含阴影。
• 反射率体素建模空间变化的、视角与光源相关的效应（如高光与光泽度），不同于以往使用单色体素的方法。
• 优化过程通过最小化渲染图像与捕获图像之间的像素级重建损失来实现，推理阶段支持自由视角与光照控制。

实验结果

研究问题

• RQ1 深度学习框架能否从非结构化的手机闪光图像中重建出具有非朗伯反射率与遮挡的复杂真实场景？
• RQ2 通过学习的不透明度、法线与反射率的体素表示，能否在任意光照与视角下实现准确的再光照？
• RQ3 可微分的、基于物理的体素渲染框架是否在视角合成与再光照质量上优于基于网格的方法？
• RQ4 学习的反射率体素能否在不改变几何或颜色的前提下，支持直观的材质编辑？
• RQ5 与直接体素优化相比，引入深度先验是否能改善优化收敛性与泛化能力？

主要发现

• 与最先进基于网格的方法相比，该方法在处理高光、阴影与非朗伯材质方面实现了显著更优的逼真渲染质量。
• 使用200张训练图像时，该方法在PSNR与SSIM上与使用全部385张图像的性能相当，表明对中等程度输入减少具有鲁棒性。
• 当训练图像少于100张时，性能明显下降，原因是几何与光度约束不足。
• 基于深度先验的优化收敛速度显著快于直接体素优化，证明了网络架构带来的归纳偏置的有效性。
• 通过修改粗糙度体素，该方法成功实现了材质编辑，生成了原始场景中不存在的真实光泽效果。
• 学习的反射率体素实现了几何与反射率的解耦，支持对组件进行特定编辑而不影响其他场景属性。