[论文解读] Ear-to-ear Capture of Facial Intrinsics

Alassane Seck, William A. P. Smith+4 more|arXiv (Cornell University)|Sep 8, 2016

Advanced Vision and Imaging参考文献 16被引用 5

一句话总结

本文提出了一种无需校准的高分辨率全耳距3D面部建模方法，可捕获包含漫反射和镜面反照率以及详细法线图的内在纹理。通过结合多视角立体视觉进行粗略网格重建，以及在三种姿态下使用偏振光照的光度立体视觉，作者实现了视点依赖的表面法线与纹理的无缝拼接，从而实现无需几何校准或视角限制的逼真光照和渲染。

ABSTRACT

We present a practical approach to capturing ear-to-ear face models comprising both 3D meshes and intrinsic textures (i.e. diffuse and specular albedo). Our approach is a hybrid of geometric and photometric methods and requires no geometric calibration. Photometric measurements made in a lightstage are used to estimate view dependent high resolution normal maps. We overcome the problem of having a single photometric viewpoint by capturing in multiple poses. We use uncalibrated multiview stereo to estimate a coarse base mesh to which the photometric views are registered. We propose a novel approach to robustly stitching surface normal and intrinsic texture data into a seamless, complete and highly detailed face model. The resulting relightable models provide photorealistic renderings in any view.

研究动机与目标

• 实现无需几何校准的全耳距面部内在属性（形状、漫反射反照率、镜面反照率）捕获。
• 通过在多个姿态下捕获面部，克服光度立体视觉中偏振球形梯度光照的视角依赖性。
• 开发一种稳健的拼接流程，将重叠视图中的表面法线与内在纹理无缝整合为单一高分辨率完整面部模型。
• 生成可实现任意光照与视角条件下逼真渲染的可重光照3D面部模型。
• 支持图形学、心理学与计算机视觉领域中对成像条件无关、高保真面部表征的应用需求。

提出的方法

• 使用多视角立体视觉（未校准）从多个相机视角生成面部的粗略基础3D网格。
• 利用带偏振光照的Lightstage捕获光度数据，以估计漫反射与镜面反射的视点依赖表面法线。
• 通过三种不同姿态的数据采集，确保全耳距覆盖，并克服单视角光度捕获的局限性。
• 基于光度一致性与法线对齐的鲁棒注册过程，将光度视图对齐至基础网格。
• 采用基于图像块的融合方法拼接高分辨率法线图与内在纹理图（漫反射与镜面反照率），以最小化边界伪影并保留细微细节。
• 利用拼接后的法线图（漫反射或镜面）对基础网格进行优化，以提升几何保真度与表面细节，其中镜面法线可实现更高的微几何精度。

实验结果

研究问题

• RQ1 是否能够实现无需捕获系统几何校准的全耳距3D面部模型，且包含内在反射属性？
• RQ2 如何克服偏振球形梯度光照在光度立体视觉中的视角依赖性，以实现完整面部覆盖？
• RQ3 如何实现多姿态下高分辨率、视点依赖的法线图与反照率纹理无缝拼接，形成单一连贯模型？
• RQ4 使用漫反射法线图与镜面法线图对最终优化网格的质量与细节有何影响？
• RQ5 在假设面部各向同性粗糙度与折射率恒定的前提下，简单BRDF模型结合高动态内在数据，能在多大程度上实现逼真渲染？

主要发现

• 所提出的多姿态捕获策略成功克服了偏振球形梯度光照在单视角下的局限性，实现了面部的全耳距覆盖。
• 拼接后的面部模型在重叠区域也无可见拼接边界或融合伪影，归因于稳健的纹理融合技术。
• 与漫反射法线相比，镜面法线显著提升了最终网格的表面细节，原因在于次表面散射效应更小。
• 最终模型在使用Cook-Torrance BRDF结合混合漫反射/镜面法线时，实现了高视觉保真度的逼真渲染，即使假设面部粗糙度与I/O恒定。
• 该方法生成了高分辨率、可重光照的面部模型，适用于角色动画、心理刺激材料以及姿态/光照不变识别等应用。
• 该方法对面部毛发具有鲁棒性，并能保持高保真微几何细节，如毛孔与皱纹等精细面部特征在渲染中清晰可见。