[论文解读] MetaSpace II: Object and full-body tracking for interaction and navigation in social VR

Misha Sra, Chris Schmandt|arXiv (Cornell University)|Dec 9, 2015

Virtual Reality Applications and Impacts参考文献 52被引用 7

一句话总结

MetaSpace II 是一个社交虚拟现实系统，通过使用 RGB-D 传感器（Kinect）和头戴式显示器（Oculus Rift DK2）实现全身与物体的追踪，创建了真实环境与虚拟环境之间的 1:1 空间映射。通过将物理对象操作与虚拟动作关联，并使用被动触觉反馈，该系统增强了在共享虚拟空间中的沉浸感、移动真实感以及社交互动体验。

ABSTRACT

MetaSpace II (MS2) is a social Virtual Reality (VR) system where multiple users can not only see and hear but also interact with each other, grasp and manipulate objects, walk around in space, and get tactile feedback. MS2 allows walking in physical space by tracking each user's skeleton in real-time and allows users to feel by employing passive haptics i.e., when users touch or manipulate an object in the virtual world, they simultaneously also touch or manipulate a corresponding object in the physical world. To enable these elements in VR, MS2 creates a correspondence in spatial layout and object placement by building the virtual world on top of a 3D scan of the real world. Through the association between the real and virtual world, users are able to walk freely while wearing a head-mounted device, avoid obstacles like walls and furniture, and interact with people and objects. Most current virtual reality (VR) environments are designed for a single user experience where interactions with virtual objects are mediated by hand-held input devices or hand gestures. Additionally, users are only shown a representation of their hands in VR floating in front of the camera as seen from a first person perspective. We believe, representing each user as a full-body avatar that is controlled by natural movements of the person in the real world (see Figure 1d), can greatly enhance believability and a user's sense immersion in VR.

研究动机与目标

• 为解决当前 VR 系统中全身存在感与自然移动的不足，通过让用户在物理空间中自由行走并保持空间意识来实现。
• 通过被动触觉反馈与实时物体追踪，同步物理与虚拟交互，提升用户的沉浸感与临场感。
• 支持多用户社交 VR 体验，使化身能够真实反映用户动作，且交互通过物理对象操作进行中介。
• 通过自然行走与身体感知化身提供本体感觉线索，减轻 VR 中的运动病与感官冲突。
• 构建一个可扩展、低成本的社交 VR 框架，将现实世界的 3D 扫描映射至虚拟环境，实现无缝导航与交互。

提出的方法

• 系统构建真实物理环境的 3D 扫描，并将虚拟世界叠加其上，确保真实与虚拟布局之间的空间对应。
• RGB-D 摄像头（Kinect）实时追踪用户骨骼与物体位置，实现全身化身控制与物体交互。
• 现实世界中的物理对象被映射为虚拟对应物，因此抓取真实物体将触发相应的虚拟操作与触觉反馈。
• Oculus Rift DK2 负责追踪头部运动并提供第一人称视觉输出，同时通过客户端-服务器架构同步多用户体验。
• 虚拟环境的纹理与现实不同，以增强身处另一世界的感知，即使使用相同的物理空间。
• 用户通过自然行走、伸手与操作真实物体进行交互，这些动作在虚拟世界中被镜像呈现，以提供具身化反馈。

实验结果

研究问题

• RQ1 全身追踪与物理对象交互在多用户社交 VR 中如何提升沉浸感与临场感？
• RQ2 通过真实物体操作获得的被动触觉反馈在多大程度上提升了用户参与度与任务表现？
• RQ3 将现实世界环境 1:1 映射至虚拟世界，是否能实现安全、无限制的行走并降低 HMD 基 VR 中的碰撞风险？
• RQ4 通过低成本 RGB-D 传感器实现实时骨骼与物体追踪，如何支持 VR 中的多用户社交互动？
• RQ5 通过真实动作控制的全身化身，具身化在增强社交临场感与自然交互方面发挥何种作用？

主要发现

• 系统使用户能够在物理空间中自然行走并保持空间意识，避免与墙壁、家具等真实障碍物发生碰撞。
• 通过自然移动与全身化身呈现，用户接收到一致的本体感觉与前庭线索，显著提升了沉浸感并减少了运动病。
• 通过真实物体操作获得的被动触觉反馈显著增强了虚拟交互的真实性，并支持更直观的物体操作。
• 将现实世界 3D 扫描 1:1 映射至虚拟环境，实现了无缝导航，并支持多用户在共享虚拟空间中的共处。
• 系统成功支持多用户社交 VR，具备同步的化身动作、实时物体交互与共享环境意识。
• 超过 100 名用户已测试该系统，验证了其在教育、治疗与社交互动等实际应用中的可行性与潜力。