[论文解读] Mask-off: Synthesizing Face Images in the Presence of Head-mounted Displays

Yajie Zhao, Qingguo Xu+2 more|arXiv (Cornell University)|Oct 26, 2016

Face recognition and analysis参考文献 28被引用 5

一句话总结

本论文提出了一种新颖的系统，仅通过一个可见光摄像头和两个近红外（NIR）眼摄像头，即可合成逼真且无遮挡的面部图像，从而在佩戴头戴式显示器（HMD）时实现逼真的面部重建。该方法结合个性化3D头部建模、在严重遮挡下仍具鲁棒性的3D面部追踪，以及专门设计的眼部着色与红眼消除流程，实现了高保真度的面部表情合成，遮挡区域的平均强度误差为5.6。

ABSTRACT

A head-mounted display (HMD) could be an important component of augmented reality system. However, as the upper face region is seriously occluded by the device, the user experience could be affected in applications such as telecommunication and multi-player video games. In this paper, we first present a novel experimental setup that consists of two near-infrared (NIR) cameras to point to the eye regions and one visible-light RGB camera to capture the visible face region. The main purpose of this paper is to synthesize realistic face images without occlusions based on the images captured by these cameras. To this end, we propose a novel synthesis framework that contains four modules: 3D head reconstruction, face alignment and tracking, face synthesis, and eye synthesis. In face synthesis, we propose a novel algorithm that can robustly align and track a personalized 3D head model given a face that is severely occluded by the HMD. In eye synthesis, in order to generate accurate eye movements and dynamic wrinkle variations around eye regions, we propose another novel algorithm to colorize the NIR eye images and further remove the "red eye" effects caused by the colorization. Results show that both hardware setup and system framework are robust to synthesize realistic face images in video sequences.

研究动机与目标

• 解决在虚拟现实与增强现实应用中，因头戴式显示器（HMD）导致的面部遮挡问题。
• 在视频会议和多人游戏中实现逼真的人脸面对面交流，其中HMD会遮挡面部上部。
• 开发一种系统，能够从部分输入中重建完整的面部外观，包括表情与眼部动态。
• 克服现有方法的局限性，这些方法要么依赖虚拟化身，要么无法在高保真度下处理大面积遮挡。
• 通过多传感器输入与先进3D建模技术，实现对遮挡区域的精确、逼真合成。

提出的方法

• 部署包含一个可见光RGB摄像头和两个聚焦于眼部区域的近红外（NIR）摄像头的硬件系统，以捕获可见光与NIR数据。
• 利用运动结构法（structure-from-motion）与参数化人脸建模构建个性化3D面部模型，以实现精确的3D重建与追踪。
• 实现一种新颖的3D头部追踪算法，即使在HMD严重遮挡面部上部的情况下，也能鲁棒地对齐并追踪个性化3D模型。
• 开发面部合成流程：基于面部关键点从预先录制的数据库中检索最匹配的表情模板，并将其变形以适配当前帧。
• 设计两阶段眼部合成方法：首先将NIR眼部图像着色为逼真的肤色，然后进一步优化以消除由近红外照明引起的“红眼”伪影。
• 通过校准框架集成所有组件，确保视频序列中空间与时间的一致性。

实验结果

研究问题

• RQ1 在HMD遮挡面部上部的情况下，结合可见光与近红外摄像头的多传感器设置能否有效重建完整的面部外观？
• RQ2 在HMD造成严重遮挡的情况下，个性化3D面部模型的追踪与对齐精度如何？
• RQ3 合成的眼部区域在多大程度上能匹配真实面部细节，包括动态眼部运动与皱纹变化？
• RQ4 该系统能否生成逼真图像，准确保留面部表情，并在遮挡区域最小化视觉伪影？
• RQ5 系统的性能开销如何？是否可优化以实现实时运行？

主要发现

• 在合成图像与真实值对比时，遮挡区域的平均强度误差为5.6，表明面部纹理重建具有高精度。
• 使用Microsoft Emotion API进行面部表情识别显示，合成的表情与真实值高度一致，八类情绪分类结果稳定可靠。
• 面部合成组件计算开销最大，单帧处理约需400ms（CPU），而追踪与眼部着色处理则快得多。
• 眼部合成流程通过考虑近红外照明的独特光学特性，成功消除了“红眼”效应，优于标准红眼去除技术。
• 系统在多种用户与面部表情下表现出鲁棒性，包括眼部与口部运动，经仿真与移动端部署验证。
• 运行时分析表明，通过GPU加速与分辨率降低，可实现实时性能，使系统适用于视频会议与AR/VR应用的实际部署。