[论文解读] A Survey on Applications of Digital Human Avatars toward Virtual Co-presence

Matthew Korban, Xin Li|arXiv (Cornell University)|Jan 11, 2022

Virtual Reality Applications and Impacts被引用 8

一句话总结

本综述对虚拟现实环境中实现虚拟共在（VCP）的数字人形象技术进行了全面分析，将方法分为基于形象的（直接动作重定向与预渲染动作）和非形象方法。综述追溯了三维重建、动作重定向和实时渲染技术的演进，突出强调了提升VCP系统真实感、互动性和沉浸感的关键进展。

ABSTRACT

This paper investigates different approaches to build and use digital human avatars toward interactive Virtual Co-presence (VCP) environments. We evaluate the evolution of technologies for creating VCP environments and how the advancement in Artificial Intelligence (AI) and Computer Graphics affect the quality of VCP environments. We categorize different methods in the literature based on their applications and methodology and compare various groups and strategies based on their applications, contributions, and limitations. We also have a brief discussion about the approaches that other forms of human representation, rather than digital human avatars, have been utilized in VCP environments. Our goal is to fill the gap in the research domain where there is a lack of literature review investigating different approaches for creating avatar-based VCP environments. We hope this study will be useful for future research involving human representation in VCP or Virtual Reality (VR) environments. To the best of our knowledge, it is the first survey research that investigates avatar-based VCP environments. Specifically, the categorization methodology suggested in this paper for avatar-based methods is new.

研究动机与目标

• 为解决目前缺乏专门聚焦于基于形象的虚拟共在（VCP）环境的综合性文献综述的问题。
• 对现有用于VCP中创建数字人形象的方法进行分类与比较，区分直接动作重定向与预渲染动作方法。
• 分析人工智能与计算机图形学进展对基于形象的VCP系统质量与真实感的影响。
• 评估非形象替代方案（如机器人、移动系统、图像/视频）在VCP情境下的表现，并与基于形象的解决方案进行对比。
• 提出一种新颖的基于形象的VCP方法分类框架，为未来在虚拟现实与协作虚拟环境中的人员表现研究提供基础。

提出的方法

• 将VCP研究分类为基于形象的（直接动作重定向与预渲染动作）和非基于形象的（机器人、移动系统、图像/视频）方法。
• 将基于图像的直接动作重定向进一步分类为离线与在线动作重定向，并进一步细分为三维模型重建与绑定形象使用。
• 分析使用可穿戴设备、标记追踪与动作捕捉系统等传感器方法，在实时形象动作映射中的应用。
• 对三维模型重建技术进行技术综述，包括 KinectFusion、泊松表面重建、DynamicFusion 与 Holoportation，强调其实时性能与纹理处理能力。
• 评估基于单张图像的重建方法，如 InferGAN，用于从遮挡部位推断纹理。
• 基于应用场景、优势（如真实感、速度）、局限性（如设置复杂度、遮挡问题）以及技术随时间的演进，对各类方法进行比较。

实验结果

研究问题

• RQ1 人工智能与计算机图形学的进步如何提升了VCP环境中数字人形象的质量与真实感？
• RQ2 在基于形象的VCP系统中，直接动作重定向与预渲染动作方法之间的关键差异与权衡是什么？
• RQ3 基于图像与基于传感器的动作重定向方法在准确性、延迟与实时适用性方面如何比较？
• RQ4 当前基于三维重建的在线动作重定向技术的主要局限性是什么？它们如何演进以克服这些问题？
• RQ5 在实现有效虚拟共在方面，非形象方法（如机器人、移动系统）与基于形象的解决方案相比有何异同？

主要发现

• 从离线到实时三维重建的演进——以 DynamicFusion 与 Holoportation 为例——显著提升了基于形象的VCP系统的响应速度与沉浸感。
• Holoportation 通过使用多个RGB与红外摄像头，实现了对动态人类主体的高质量、带纹理的三维重建，但其硬件设置复杂且成本高昂。
• 基于单张图像的重建方法（如 Li et al. (2019)）通过从单张RGB图像重建三维形象与纹理，降低了硬件依赖，但对遮挡与有限视角仍敏感。
• 技术进步已实现实时扫描与重建，DynamicFusion 能够对RGBD数据进行在线融合，适用于高度形变的主体（如人类）。
• 基于图像的三维重建技术已演进以解决早期问题：Shapiro et al. (2014) 通过关键姿态提升重建速度，Orts et al. (2016) 引入时间重建以减少追踪误差。
• 尽管取得进展，处理遮挡、阴影区域以及不可见身体部位的纹理推断仍具挑战，InferGAN 虽为纹理补全提供了有前景的解决方案，但尚不完美。