[论文解读] AvatarGo: Plug and Play self-avatars for VR

José Luis Pontón, Eva Monclús+1 more|arXiv (Cornell University)|Jan 1, 2022

Virtual Reality Applications and Impacts被引用 7

一句话总结

AvatarGo 提供了一套即插即用的系统，利用低成本追踪设备（HMD、2 个控制器、3 个追踪器）在 VR 中创建个性化的自定义化身。它通过简单的行走校准过程，计算用户特定的追踪器与化身关节之间的偏移值，显著提升了姿态精度和化身代入感。用户研究显示，使用精确偏移相比固定偏移，代入感有统计学上显著的提升（p < .001，d = 0.60）。

ABSTRACT

The use of self-avatars in a VR application can enhance presence and embodiment which leads to a better user experience. In collaborative VR it also facilitates non-verbal communication. Currently it is possible to track a few body parts with cheap trackers and then apply IK methods to animate a character. However, the correspondence between trackers and avatar joints is typically fixed ad-hoc, which is enough to animate the avatar, but causes noticeable mismatches between the user's body pose and the avatar. In this paper we present a fast and easy to set up system to compute exact offset values, unique for each user, which leads to improvements in avatar movement. Our user study shows that the Sense of Embodiment increased significantly when using exact offsets as opposed to fixed ones. We also allowed the users to see a semitransparent avatar overlaid with their real body to objectively evaluate the quality of the avatar movement with our technique.

研究动机与目标

• 解决现实身体动作与虚拟化身之间缺乏准确、用户特定的姿态匹配问题。
• 降低设置复杂度，并消除在化身动画流程中手动调整追踪器到关节偏移的需要。
• 通过最小化用户与化身之间的视觉-运动不匹配，增强代入感（SoE）。
• 提供即插即用的解决方案，兼容任何使用标准硬件和 Unity 的 VR 应用。
• 通过使用透视 HMD 摄像头的半透明叠加化身模式，客观评估化身保真度。

提出的方法

• 采用 T 姿势校准步骤，用户静止站立，将脚部和下背部的追踪器与镜像中显示的虚拟化身对齐。
• 基于追踪器在拟合平面上的空间聚类，自动分配追踪器角色（根部、脚部）。
• 在校准过程中，计算每个追踪器与对应化身关节（根部、脚部、头部、背部、手部）之间的精确 3D 位置和旋转偏移。
• 通过梯度下降最小化手指关节与控制器胶囊之间的距离，实现控制器上的自然手部定位。
• 使用有符号距离函数（SDF）建模控制器几何形状，并通过数值梯度更新优化手指关节位置。
• 存储计算出的偏移值，并在逆运动学（IK）流程中使用，以高保真度驱动化身动画。

实验结果

研究问题

• RQ1 简单的自动化校准流程是否能显著提升与固定偏移假设相比的化身动作准确性？
• RQ2 计算用户特定偏移是否能带来可测量的代入感（SoE）提升？
• RQ3 通过透视摄像头叠加提供的视觉反馈如何影响用户对化身保真度和代入感的感知？
• RQ4 该系统在多大程度上改善了控制器上的手部定位，从而增强视觉-触觉对齐？
• RQ5 该系统能否作为即插即用解决方案，在多种 VR 应用中部署，而无需复杂集成？

主要发现

• 与固定偏移相比，使用精确偏移的用户报告代入感有统计学上显著的提升（p < .001，Cohen's d = 0.60）。
• 在虚拟化身（VA）和叠加化身（OA）两种条件下，精确偏移的代入感均显著更高（p < .001，d = 1.00 和 d = 1.03 分别）。
• 在观察叠加化身时，固定偏移化身的代入感受损更明显，表明存在更大的视觉-运动不匹配。
• 精确偏移配合仅虚拟化身时，代入感中位数得分为 6（四分位距 IQR = 1），表明用户在代入感上高度一致。
• 控制感（SoA）和拥有感（SoO）的中位数得分均为 6（IQR = 1），表明用户对控制和认同化身具有高度信心。
• 该系统通过基于 SDF 的优化，成功计算出合理的手部姿势贴合控制器，显著改善了视觉-触觉对齐。