[论文解读] Face Shape and Reflectance Acquisition using a Multispectral Light Stage

Abhishek Dutta|UPT. Syiah Kuala University Library (Syiah Kuala University)|May 18, 2011

Computer Graphics and Visualization Techniques参考文献 33被引用 4

一句话总结

本文提出了一种多光谱光场装置，用于高保真度捕获面部几何形状与反射特性，实现对详细3D形状及生物物理皮肤参数的估计。该方法提出仅需四张图像的最小图像集以实现球形梯度光度立体视觉，并采用基于二次规划（QP）的方法校正变形的漫反射主瓣，显著降低数据捕获与计算成本，同时提升法线估计质量。

ABSTRACT

In this thesis, we discuss the design and calibration (geometric and radiometric) of a novel shape and reflectance acquisition device called the "Multispectral Light Stage". This device can capture highly detailed facial geometry (down to the level of skin pores detail) and Multispectral reflectance map which can be used to estimate biophysical skin parameters such as the distribution of pigmentation and blood beneath the surface of the skin. We extend the analysis of the original spherical gradient photometric stereo method to study the effects of deformed diffuse lobes on the quality of recovered surface normals. Based on our modified radiance equations, we develop a minimal image set method to recover high quality photometric normals using only four, instead of six, spherical gradient images. Using the same radiance equations, we explore a Quadratic Programming (QP) based algorithm for correction of surface normals obtained using spherical gradient photometric stereo. Based on the proposed minimal image sets method, we present a performance capture sequence that significantly reduces the data capture requirement and post-processing computational cost of existing photometric stereo based performance geometry capture methods. Furthermore, we explore the use of images captured in our Light Stage to generate stimuli images for a psychology experiment exploring the neural representation of 3D shape and texture of a human face.

研究动机与目标

• 设计并标定一种多光谱光场装置，能够捕获高分辨率面部几何形状与多光谱反射特性。
• 解决由于相互反射与遮挡导致光度立体视觉中漫反射与镜面反射主瓣变形的挑战。
• 通过最小化所需图像数量，降低性能几何捕获中的数据捕获与计算成本。
• 为心理学实验中3D形状与纹理感知的研究生成高质量的刺激图像数据集。
• 利用光度法线与多光谱数据实现面部几何的精确对齐与重建。

提出的方法

• 使用41个LED在细分的二十面体上构建球形照明环境，以近似梯度照明。
• 采用偏振分束器与双相机设置，同步捕获正交偏振图像，实现漫反射与镜面反射的分离。
• 为梯度照明与恒定照明条件下的反射率建立改进的辐射度方程，以在非理想条件下建模漫反射与镜面反射。
• 提出仅使用四张图像的最小图像集方法，以恢复光度法线，将捕获需求从六张减少至四张。
• 构建基于二次规划（QP）的优化框架，通过最小化由变形反射主瓣引起的不一致性，校正表面法线。
• 应用联合光度对齐方法，将梯度图像与互补梯度图像注册至同一追踪坐标系，以实现性能捕获。

实验结果

研究问题

• RQ1 是否可使用最小四张图像集在球形梯度光度立体视觉中实现高质量的光度法线估计？
• RQ2 变形的漫反射与镜面反射主瓣在多大程度上影响光度立体视觉中表面法线恢复的准确性？
• RQ3 基于二次规划的优化方法是否能有效校正由非理想照明与反射模型引起的表面法线误差？
• RQ4 所提出的方法在性能几何捕获中可将数据捕获与计算成本降低多少？
• RQ5 捕获的多光谱反射特性与光度法线数据是否可用于生成神经科学实验中感知有效的刺激？

主要发现

• 最小图像集方法仅使用四张图像即成功恢复高质量的光度法线，与标准六张图像方法相比，数据捕获需求降低33%。
• 基于QP的法线校正方法通过处理由变形漫反射主瓣引起的不一致性，提升了法线估计质量，但系统仍因6个方程与9个未知数而处于欠定状态。
• 利用正交偏振成像实现的漫反射与镜面反射分离方法准确有效，经由镜面球体与斯诺克球等标准测试物体验证。
• 多光谱光场装置的反射率图捕获效率为22%的光传输效率，需采用更长曝光时间，这促使未来通过增加LED数量与自动滤光轮实现改进。
• 生成的刺激图像数据集（包含仅形状、仅纹理及形状与纹理结合的图像）已成功应用于心理学实验，用于研究大脑对3D面部特征的神经响应。
• 基于最小图像集的性能捕获序列降低了后期处理的计算成本，并实现了计算效率更高的实时几何捕获，同时提升了对齐稳定性。