[论文解读] FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality

Justus Thies, Michael Zollhöfer+3 more|arXiv (Cornell University)|Oct 11, 2016

Face recognition and analysis参考文献 58被引用 41

一句话总结

FaceVR 提出了一种实时、基于图像的虚拟现实眼球注视感知面部重演方法，可在虚拟现实远程会议中实现未被遮挡的逼真人脸渲染。通过结合头戴设备（HMD）内部的红外（IR）眼动追踪、RGB-D 面部重建以及基于模型的重渲染技术，该方法实现了逼真的面部表情与视线转移，显著提升了虚拟会议中的临场感。

ABSTRACT

We propose FaceVR, a novel image-based method that enables video teleconferencing in VR based on self-reenactment. State-of-the-art face tracking methods in the VR context are focused on the animation of rigged 3d avatars. While they achieve good tracking performance the results look cartoonish and not real. In contrast to these model-based approaches, FaceVR enables VR teleconferencing using an image-based technique that results in nearly photo-realistic outputs. The key component of FaceVR is a robust algorithm to perform real-time facial motion capture of an actor who is wearing a head-mounted display (HMD), as well as a new data-driven approach for eye tracking from monocular videos. Based on reenactment of a prerecorded stereo video of the person without the HMD, FaceVR incorporates photo-realistic re-rendering in real time, thus allowing artificial modifications of face and eye appearances. For instance, we can alter facial expressions or change gaze directions in the prerecorded target video. In a live setup, we apply these newly-introduced algorithmic components.

研究动机与目标

• 实现在虚拟现实远程会议中，用户能够看到对话伙伴逼真且未被遮挡的虚拟化身，即使对方佩戴 HMD。
• 克服 HMD 遮挡面部导致自然面部表情与视线感知在虚拟会议中受损的局限性。
• 开发一种支持实时面部重演的系统，具备精确的眼球注视追踪能力，并能将源视频中的外观特征真实地传递到目标视频中。
• 集成立体渲染技术，以支持虚拟现实头显的沉浸式显示，增强虚拟会议中的共在感。
• 在预录制的目标视频中实现人工修改，如视线重定向与表情编辑，同时保持逼真效果。

提出的方法

• 利用外部 RGB-D 摄像头捕捉佩戴 HMD 的用户面部的刚性与非刚性运动，实现实时 3D 面部重建。
• 采用 HMD 内部的红外（IR）摄像头，通过基于数据驱动的随机蕨分类方法，实时追踪眼动，包括视线方向与眨眼。
• 应用基于模型的重演流程，将源演员（无 HMD）的预录制立体视频中的面部几何、外观与光照信息，传递到佩戴 HMD 的演员的运动上。
• 使用带有学习到的外观与光照参数的 3D 面部模型，对脸部区域（包括眼睛与嘴巴）进行逼真重渲染。
• 通过对齐源与目标头部姿态，实现面部特征（如口腔内部）的跨投影，可选地通过刚性相机支架稳定追踪。
• 支持立体输出渲染，与虚拟现实头显兼容，提升沉浸感与虚拟会议中的共在感。

实验结果

研究问题

• RQ1 仅使用消费级传感器与基于图像的技术，能否在虚拟现实中实现实时、眼球注视感知的面部重演，而无需依赖绑定骨骼的 3D 虚拟化身？
• RQ2 当面部被 HMD 遮挡时，仅使用 HMD 内部红外摄像头数据，能否实时准确追踪眼球注视与眨眼？
• RQ3 在实时场景中，从预录制的源视频向佩戴 HMD 的实时演员成功转移逼真面部外观与表情的范围有多大？
• RQ4 立体渲染与眼球注视感知重演的集成，如何影响虚拟现实远程会议中感知到的共在感？
• RQ5 在实时虚拟现实面部重演中，处理头部姿态变化与面部遮挡的关键局限性是什么？

主要发现

• 由于融合了外部 RGB-D 摄像头与内部红外摄像头的数据，FaceVR 实现了稳定且实时的面部追踪与重演，即使演员佩戴 HMD 也能保持性能稳定。
• 所提出的基于随机蕨的眼动追踪方法在计算成本低的前提下实现了高精度，能够精确检测视线方向与眨眼。
• 感知评估显示，FaceVR 显著提升了用户与对话伙伴面对面交流的感知印象，立体输出与单目输出的平均意见得分分别为 2.281 和 2.09。
• 该系统成功实现了对预录制视频中的人工修改，如视线重定向与表情编辑，同时保持了逼真的视觉质量。
• 该方法支持立体重渲染，增强了沉浸感，且与标准虚拟现实头显兼容，显著提升了整体远程会议体验。
• 局限性包括无法修改目标视频中的刚性头部姿态，以及因红外摄像头视场角有限导致的上半张脸部分遮挡，但这些均被认可为未来研究方向。