[论文解读] High-Res Facial Appearance Capture from Polarized Smartphone Images

Dejan Azinović, Olivier Maury+3 more|arXiv (Cornell University)|Dec 2, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出一种低成本、基于智能手机的高分辨率面部外观捕获方法，通过在相机和闪光灯上加装偏振滤光片，利用交叉偏振和并行偏振序列捕获，解耦漫反射与镜面反射，通过粗到细的可微分渲染流程，实现4K漫反射反照率、镜面增益和法线图的高保真重建，从而在新视角和光照条件下实现逼真的3D人脸渲染。

ABSTRACT

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

研究动机与目标

• 仅使用市售智能手机和低成本偏振滤光片，实现高质量、逼真的3D人脸外观捕获。
• 通过简化捕获流程至单台设备并仅做最少硬件改装，克服传统光场仪系统的局限性。
• 利用偏振技术分离漫反射与镜面反射响应，实现反照率、法线图和镜面图的精确重建。
• 开发一种粗到细的可微分渲染优化策略，提升纹理清晰度并减少模糊。

提出的方法

• 在智能手机的相机镜头和闪光灯上加装偏振滤光片，以在捕获过程中控制偏振状态。
• 在暗室中捕获两段短视频序列：一段为交叉偏振光（突出漫反射），另一段为并行偏振光（保留镜面响应）。
• 使用运动结构法与多视角立体重建技术恢复面部几何，随后通过非刚性拟合FLAME参数化人脸模型，确保一致的UV参数化。
• 进行两阶段光度优化：首先从交叉偏振数据中估计高分辨率漫反射反照率与初始法线图，然后利用并行偏振视图优化镜面增益与最终法线图。
• 采用带mipmapping的粗到细优化策略，每一分辨率层级仅使用对应UV空间覆盖区域的像素，以保持纹理清晰度。
• 集成可微分渲染器，建模方向性闪光灯衰减、Fresnel效应与环境光，以提高重建精度。

实验结果

研究问题

• RQ1 仅使用低成本偏振滤光片的智能手机能否实现与专业光场仪系统相当的高分辨率面部纹理重建？
• RQ2 在相机与闪光灯共位置的设置下，基于偏振的漫反射与镜面反射分离方法在消费级捕获中的有效性如何？
• RQ3 与直接高分辨率优化相比，基于mipmapping的粗到细优化在多大程度上提升了纹理清晰度？
• RQ4 建模假设（如方向性闪光灯衰减与Fresnel效应）对重建外观精度的影响如何？
• RQ5 所生成的纹理是否可被标准渲染管线使用，在新光照与视角下实现逼真渲染？

主要发现

• 仅通过两段加装偏振滤光片的智能手机视频序列，即可实现4K分辨率的漫反射反照率、镜面增益与法线图的高分辨率重建。
• 采用mipmapping的粗到细优化显著提升了纹理清晰度，相比直接高分辨率优化，有效减少了模糊。
• 考虑方向性闪光灯衰减与Fresnel效应后，重投影误差更低，且在多视角下实现了更准确的明暗表现。
• 若不使用偏振信息联合优化所有纹理，会导致镜面信息泄漏至漫反射纹理中，降低真实感。
• 完整处理流程约需2.5小时计算时间（含1小时MVS处理），在4096×4096纹理分辨率下需30GB GPU显存，相比NLT（10小时）与NextFace（6小时）在相同输入下具有更快的速度。
• 重建的纹理与Blender等标准渲染软件兼容，可实现带次表面散射与新光照条件下的逼真渲染。