[论文解读] Face Reflectance and Geometry Modeling via Differentiable Ray Tracing

Abdallah Dib, Gaurav Bharaj+4 more|arXiv (Cornell University)|Oct 3, 2019

Face recognition and analysis被引用 5

一句话总结

本文提出了一种用于单目3D人脸重建的可微分光线追踪框架，该框架显式解耦了面部几何（身份、表情、姿态）、反射率（漫反射和镜面反照率）以及场景光照与自阴影。通过利用参数化的虚拟光场和可微分的蒙特卡洛光线追踪器，该方法能够在准确建模镜面高光和阴影的同时，实现对照片一致性的稳健优化，即使在图像饱和区域也能保持准确性。

ABSTRACT

We present a novel strategy to automatically reconstruct 3D faces from monocular images with explicitly disentangled facial geometry (pose, identity and expression), reflectance (diffuse and specular albedo), and self-shadows. The scene lights are modeled as a virtual light stage with pre-oriented area lights used in conjunction with differentiable Monte-Carlo ray tracing to optimize the scene and face parameters. With correctly disentangled self-shadows and specular reflection parameters, we can not only obtain robust facial geometry reconstruction, but also gain explicit control over these parameters, with several practical applications. We can change facial expressions with accurate resultant self-shadows or relight the scene and obtain accurate specular reflection and several other parameter combinations.

研究动机与目标

• 解决在复杂光照和自阴影条件下，从单目图像中重建3D面部几何的挑战。
• 对场景参数——光照、反射率（漫反射和镜面反照率）以及面部几何（身份、表情、姿态）进行解耦，以实现显式控制与稳健优化。
• 克服先前方法在建模自阴影和镜面高光方面的局限性，尤其是在图像饱和区域表现不佳的问题。
• 通过显式建模阴影与基于物理的反射率（采用Cook-Torrance BRDF），实现准确的光照重演与表情编辑。
• 利用可微分光线追踪实现端到端的优化，通过梯度反向传播最小化照片一致性损失。

提出的方法

• 使用带有N个固定预定向的面光源的参数化虚拟光场，分布在半球面上，以建模场景光照，其中光源强度作为可学习参数。
• 采用来自Li等人（2018）的可微分蒙特卡洛光线追踪器，计算渲染像素颜色对几何、反射率和光照参数的梯度。
• 使用Cook-Torrance BRDF建模反射率，包含独立的漫反射与镜面反照率分量，并引入一个32×32的向量化镜面纹理图。
• 通过3D形态人脸模型表示面部几何，包括身份（α ∈ ℝ⁸⁰）、表情（β ∈ ℝ⁹⁰）以及刚性变换（R, t ∈ ℝ⁶）。
• 通过顺序优化策略，联合优化数据保真度（照片一致性）、统计先验（E_prior）和光照通量正则化（E_light）的复合损失函数。
• 提出两阶段优化：首先优化反射率与阴影，然后通过可微分渲染器的反向传播进一步优化光照与几何。

实验结果

研究问题

• RQ1 可微分光线追踪能否在单目3D人脸重建中实现面部几何、反射率与光照的准确解耦？
• RQ2 与传统的Lambertian或球谐函数（SH）模型相比，显式建模自阴影与镜面高光在图像饱和区域的重建效果有何提升？
• RQ3 在处理强方向性光照与部分遮挡时，可微分光线追踪在优化稳定性和准确性方面能提升到何种程度？
• RQ4 该方法是否能够支持实际应用，如光照重演与表情编辑，并生成具有物理真实感的阴影与镜面反射？
• RQ5 在采样噪声与无法建模皮肤次表面散射方面，该方法存在哪些局限性？

主要发现

• 该方法成功实现了3D人脸的几何、反射率与光照的解耦重建，在强方向性光照下，鼻部与面颊区域的自阴影生成准确。
• 通过采用Cook-Torrance BRDF建模镜面高光，并结合可微分光线追踪，该方法避免了因镜面高光或自阴影导致的图像饱和区域中不自然的几何形变。
• 通过先优化反射率与阴影、再优化光照与几何的顺序策略，优化过程实现了稳健收敛。
• 光照重演实验表明，当场景光照发生变化时，镜面高光与阴影能够实现准确的动态更新，验证了渲染结果的物理合理性。
• 与使用球谐函数或Lambertian模型的先前方法相比，该方法通过显式建模自阴影与镜面反射，在具有挑战性的图像区域中表现更优。
• 局限性包括在低光线追踪采样率下出现的噪声，以及缺乏对皮肤次表面散射的建模，这在高度半透明的皮肤区域影响了真实感。