[论文解读] A Full Body Avatar-Based Telepresence System for Dissimilar Spaces

Leonard Yoon, D.Y. Yang+2 more|arXiv (Cornell University)|Mar 7, 2021

Virtual Reality Applications and Impacts参考文献 23被引用 8

一句话总结

本文提出了一种基于全身化身的远程存在系统，通过将本地用户的位置、手势和头部动作重定向至远程化身，实现在物理空间不同的用户之间的自然交互，同时保留空间上下文和交互上下文。该系统采用动作重定向与自适应化身定位技术，在房间布局不同的情况下仍能维持共现感与共享物体的交互。

ABSTRACT

We present a novel mixed reality (MR) telepresence system enabling a local user to interact with a remote user through full-body avatars in their own rooms. If the remote rooms have different sizes and furniture arrangements, directly applying a user's motion to an avatar leads to a mismatch of placement and deictic gesture. To overcome this problem, we retarget the placement, arm gesture, and head movement of a local user to an avatar in a remote room to preserve a local user's environment and interaction context. This allows avatars to utilize real furniture and interact with a local user and shared objects as if they were in the same room. This paper describes our system's design and implementation in detail and a set of example scenarios in the living room and office room. A qualitative user study delves into a user experience, challenges, and possible extensions of the proposed system.

研究动机与目标

• 通过化身实现在物理空间不同的房间中用户之间的自然、全身交互。
• 解决在不同环境中直接将用户动作映射到远程化身时存在的空间上下文错位问题。
• 即使家具布局与房间尺寸不同，仍保留用户与共享物体的交互上下文（如指向共享物体）。
• 通过动态将化身放置在相对于本地环境和共享物体的最优位置，增强共现感与协作体验。
• 探索在真实环境中全身心化身远程存在技术的用户体验、挑战与实际应用场景。

提出的方法

• 利用空间映射与姿态估计技术，将本地用户全身动作（包括位置、手臂手势与头部运动）重定向至远程化身。
• 采用先前工作[29]中的定位算法，基于环境可及性确定远程房间中化身的最优位置。
• 通过动作追踪检测指示性指向手势，并将其映射至远程化身的对应指向动作。
• 利用实时空间分析，确保化身在虚拟与物理家具上与共享虚拟物体的交互如同共处一地。
• 使用现成的消费级硬件（包括头戴式显示器与动作追踪设备）实现系统，以支持实际部署。
• 将手势重定向与化身定位相结合，以在空间布局不同的环境中保持一致的交互上下文。

实验结果

研究问题

• RQ1 如何在布局不同的远程房间中有效放置全身化身，以保留用户的空间与交互上下文？
• RQ2 指示性指向的手势重定向在多大程度上提升了远程存在系统中的沟通效果与共现感？
• RQ3 在真实的空间差异环境中，全身心化身远程存在技术的用户体验挑战与感知优势为何？
• RQ4 用户如何感知在全身心化身远程存在系统中出现的空间错位、移动方式与非语言线索？
• RQ5 支持自然、上下文保留的远程协作的全身心化身系统，会催生哪些实际应用场景？

主要发现

• 参与者表示，该系统实现了与远程伙伴及共享虚拟物体之间的自然、上下文保留的交互，显著增强了共现感。
• 尽管房间布局不同，系统仍通过手势重定向与化身的最优位置放置成功维持了交互上下文。
• 用户认为能够指向共享物体，并看到远程化身指向同一目标，是实现有效沟通的关键因素。
• 缺乏空间音频是一个重大缺陷，用户报告感到与对方脱节，难以判断对方位置。
• 参与者建议了实际应用场景，如远程协作演示、与家人一起在线购物、盲约等，显示出强大的可用性潜力。
• 反馈指出化身移动存在挑战，尤其是突然的瞬移，会破坏共现感与空间感知。