[论文解读] Light Stage Super-Resolution: Continuous High-Frequency Relighting

Tiancheng Sun, Zexiang Xu+7 more|arXiv (Cornell University)|Oct 17, 2020

Advanced Vision and Imaging参考文献 36被引用 6

一句话总结

本文提出了一种基于深度学习的超分辨率方法，用于光场扫描，以实现在任意光照方向下的逼真、高频重光照人类面部效果。通过训练神经网络，从稀疏的、角度采样的光场数据中合成虚拟光源渲染图像，该方法消除了阴影和高光区域的鬼影和混叠伪影，实现了平滑、逼真的重光照效果，并可控制柔和阴影。

ABSTRACT

The light stage has been widely used in computer graphics for the past two decades, primarily to enable the relighting of human faces. By capturing the appearance of the human subject under different light sources, one obtains the light transport matrix of that subject, which enables image-based relighting in novel environments. However, due to the finite number of lights in the stage, the light transport matrix only represents a sparse sampling on the entire sphere. As a consequence, relighting the subject with a point light or a directional source that does not coincide exactly with one of the lights in the stage requires interpolation and resampling the images corresponding to nearby lights, and this leads to ghosting shadows, aliased specularities, and other artifacts. To ameliorate these artifacts and produce better results under arbitrary high-frequency lighting, this paper proposes a learning-based solution for the "super-resolution" of scans of human faces taken from a light stage. Given an arbitrary "query" light direction, our method aggregates the captured images corresponding to neighboring lights in the stage, and uses a neural network to synthesize a rendering of the face that appears to be illuminated by a "virtual" light source at the query location. This neural network must circumvent the inherent aliasing and regularity of the light stage data that was used for training, which we accomplish through the use of regularized traditional interpolation methods within our network. Our learned model is able to produce renderings for arbitrary light directions that exhibit realistic shadows and specular highlights, and is able to generalize across a wide variety of subjects.

研究动机与目标

• 解决由于光源稀疏角度采样导致的光场重光照中鬼影和混叠伪影的问题。
• 实现在任意光照方向下（包括高频环境贴图）的人类面部逼真重光照。
• 通过从少量捕获图像中合成高角度分辨率光照，减少对密集采样光场系统的需求。
• 在不同人类受试者之间保持泛化能力，同时维持逼真的阴影和高光运动效果。
• 提供一种内存高效、可学习的替代方案，以取代传统光场图像的线性混合方法。

提出的方法

• 该方法使用深度神经网络，从查询光照方向回归生成合成图像，训练数据基于稀疏光场捕获。
• 在网络中采用正则化插值技术，以减轻混叠效应，并在阴影和高光过渡区域保持平滑性。
• 提出一种新型的‘无混叠池化’机制，通过平均最近邻光源的激活值，减少规则采样模式引起的伪影。
• 网络在学习的嵌入空间中聚合图像特征，再对目标光照方向进行解码。
• 在训练过程中，对激活的邻近光源集合应用类似Dropout的超采样策略，以提升模型鲁棒性与泛化能力。
• 通过在虚拟光源的球形邻域内对合成图像进行平均，实现可控的柔和阴影。

实验结果

研究问题

• RQ1 深度神经网络能否在不引入鬼影或混叠伪影的前提下，有效从稀疏光场数据中合成高角度分辨率的重光照？
• RQ2 基于学习的方法如何克服光场数据固有的规则采样与欠采样问题，以实现平滑、逼真的阴影与高光运动？
• RQ3 该方法在不同人类受试者和光照条件下的泛化能力如何？
• RQ4 模型能否通过虚拟光源采样实现逼真的柔和阴影，超越线性混合方法的局限？
• RQ5 在高分辨率输出下，模型复杂度、内存使用与渲染质量之间的权衡如何？

主要发现

• 所提方法成功消除了阴影与高光区域的鬼影和混叠伪影，实现了平滑、逼真的重光照效果。
• 模型在不同人类受试者之间泛化良好，在任意光照方向下均保持逼真画质。
• 通过在虚拟光源球形邻域内对合成图像进行平均，实现了可控的柔和阴影，优于线性混合方法。
• 该方法可使用更少的物理光源实现高质量重光照，从而减少采集时间与硬件成本。
• 与线性插值相比，该网络在高频光照场景（如锐利阴影与高光）中表现更优。
• 该方法在内存效率方面足够实用，适用于视觉特效工作流程，但4K等更高分辨率图像仍具挑战。