[论文解读] 3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media

Gholamreza Anbarjafari, Rain Eric Haamer+3 more|arXiv (Cornell University)|Dec 12, 2017

Face recognition and analysis参考文献 42被引用 9

一句话总结

本文提出了一种轻量级、适用于移动设备的方法，通过数据库中预扫描的3D人脸模型进行基于区域的混合，实现实时3D人脸重建。通过检测68个面部关键点，将面部区域（眼睛、鼻子、嘴巴、其余部分）与数据库中最接近的模型匹配，并应用分段仿射纹理映射，该方法在标准硬件上可在一分钟内生成准确且带纹理的3D人脸，克服了传统模型拉伸技术产生的通用外观问题。

ABSTRACT

The use of virtual reality (VR) is exponentially increasing and due to that many researchers has started to work on developing new VR based social media. For this purpose it is important to have an avatar of the users which look like them to be easily generated by the devices which are accessible, such as mobile phone. In this paper, we propose a novel method of recreating a 3D human face model captured with a phone camera image or video data. The method focuses more on model shape than texture in order to make the face recognizable. We detect 68 facial feature points and use them to separate a face into four regions. For each area the best fitting models are found and are further morphed combined to find the best fitting models for each area. These are then combined and further morphed in order to restore the original facial proportions. We also present a method of texturing the resulting model, where the aforementioned feature points are used to generate a texture for the resulting model

研究动机与目标

• 解决从移动设备RGB视频中生成逼真、计算效率高的3D人脸模型的挑战，以用于虚拟现实和社交媒体应用。
• 克服传统模型拉伸或可变形模型方法产生的外观通用化问题。
• 开发一种利用预先构建的3D扫描人脸数据库的方法，以实现实时、区域特定的模型选择与混合。
• 实现实时、低功耗的3D人脸重建，适用于在消费级移动设备上部署。

提出的方法

• 该方法使用包含217个预处理过的3D头像扫描的数据库，其顶点映射和UV坐标一致，以支持基于区域的模型匹配。
• 通过68个关键点检测从输入图像中提取面部区域（眼睛、鼻子、嘴巴、其余面部），并使用相似性度量将这些区域与数据库中对应的渲染区域匹配。
• 根据每个面部区域与数据库模型的相似度分配权重，最终通过混合每个区域的前m个匹配模型来构建3D模型。
• 通过变形顶点位置以与检测到的68个关键点对齐，从而保持面部比例。
• 通过将输入帧分段仿射变换以适配UV图，再与偏移的平均纹理进行边缘混合，生成纹理，以实现自然外观。
• 整个流程在标准CPU上高效运行，现代硬件上可在一分钟内完成模型生成。

实验结果

研究问题

• RQ1 一种轻量级、适用于移动设备的3D人脸重建方法，是否能在不依赖昂贵深度传感器或高复杂度优化的情况下，实现逼真的面部特征？
• RQ2 与传统模型拉伸技术相比，基于区域的预扫描3D模型混合在保留面部身份和细节方面有多高效？
• RQ3 重建质量在多大程度上取决于3D扫描数据库的多样性与代表性，特别是头型和面部结构方面？
• RQ4 当应用于具有可变光照和姿态的真实移动视频输入时，分段仿射纹理映射能否产生自然的视觉效果？

主要发现

• 当被试存在于数据库中时，该方法生成的3D人脸模型与扫描原版几乎完全一致，即使在不同面部表情下也表现良好。
• 对于不在数据库中的被试，系统选择了与输入极为相似的面部特征，但远处特征的混合有时导致不准确。
• 在标准i7 CPU上使用MATLAB 2015a时，模型创建过程约需3分钟；在更快的i7 CPU上使用MATLAB 2016b时，耗时不足一分钟。
• 通过使用区域特定的模型混合，该方法显著减少了传统模型拉伸技术中常见的通用外观问题。
• 纹理生成过程通过分段仿射变换与平均纹理的边缘混合，产生了自然的视觉效果。
• 在头型重建方面观察到局限性，原因在于对下巴等大面部结构的检测不可靠，且该方法的性能受限于数据库对头型的覆盖范围。