[论文解读] Tangible Holograms: Towards Mobile Physical Augmentation of Virtual Objects

Beat Signer, Timothy Joseph Curtin|arXiv (Cornell University)|Mar 24, 2017

Interactive and Immersive Displays参考文献 6被引用 6

一句话总结

本文提出了一种可穿戴的移动系统，通过配备球形控制器的机械臂，为混合现实中的全息虚拟物体赋予形状、纹理和温度等实体属性。通过整合微软HoloLens实现空间锚定的全息显示，以及将促动器安装于身体上，该系统使用户能够在不同环境中实时通过触觉与动态、具备物理响应特性的虚拟物体进行交互，为移动环境下的混合现实实体交互提供了创新解决方案。

ABSTRACT

The last two decades have seen the emergence and steady development of tangible user interfaces. While most of these interfaces are applied for input - with output still on traditional computer screens - the goal of programmable matter and actuated shape-changing materials is to directly use the physical objects for visual or tangible feedback. Advances in material sciences and flexible display technologies are investigated to enable such reconfigurable physical objects. While existing solutions aim for making physical objects more controllable via the digital world, we propose an approach where holograms (virtual objects) in a mixed reality environment are augmented with physical variables such as shape, texture or temperature. As such, the support for mobility forms an important contribution of the proposed solution since it enables users to freely move within and across environments. Furthermore, our augmented virtual objects can co-exist in a single environment with programmable matter and other actuated shape-changing solutions. The future potential of the proposed approach is illustrated in two usage scenarios and we hope that the presentation of our work in progress on a novel way to realise tangible holograms will foster some lively discussions in the CHI community.

研究动机与目标

• 为解决当前混合现实全息图缺乏物理反馈的问题，这些全息图虽视觉上存在但无法触碰。
• 通过为虚拟物体增加形状、纹理和温度等物理属性，实现在移动环境中实时触觉交互。
• 开发一种自包含的可穿戴系统，支持在不同物理环境中跨用户协作交互实体全息图。
• 探索通过在移动混合现实环境中以物理变量感知和操作抽象数据的新可能，实现数据的实体化。

提出的方法

• 系统使用微软HoloLens进行空间建模和全息显示，将虚拟物体投射到物理环境中。
• 采用配备球形控制器的可穿戴机械臂系统，实时物理呈现虚拟物体的形状和纹理。
• 机械臂通过手势追踪和运动传感进行控制，可依据用户手部动作和底层数字模型自动重新定位。
• 系统采用3D打印的轻量化框架，结合乐高齿轮传动系统和伺服电机，确保移动性与物理响应性。
• 球形控制器中的传感器与促动器可模拟硬度、弹性及温度等物理变量，增强触觉反馈。
• 系统支持用户间共享数字模型，允许多名用户实时同步交互具备物理增强的全息图。

实验结果

研究问题

• RQ1 如何在混合现实中通过动态物理属性（如形状、纹理和温度）对虚拟全息图进行物理增强？
• RQ2 何种可穿戴、移动的系统架构能够实现在不同环境中对物理增强的虚拟物体进行实时触觉交互？
• RQ3 如何将机械臂促动器的物理反馈与全息投影同步，以保持视觉与触觉模态之间的感知一致性？
• RQ4 实体全息图在混合现实中如何支持协作设计与数据实体化？

主要发现

• 所提出的系统成功通过可穿戴机械臂对全息图实现形状与纹理的物理增强，使用户能够通过触觉与虚拟物体交互。
• 系统实现了用户手部动作、数字模型与球形控制器物理位置之间的实时同步，确保感知一致性。
• 在汽车设计与室内设计两个应用场景中，实体全息图展示了支持协作、移动且沉浸式的设计工作流程，并具备共享的物理反馈。
• 原型设计注重移动性，采用轻量化的3D打印结构替代较笨重的乐高组件，提升了便携性与用户舒适度。
• 系统支持远程协作，用户可在不同地点操作同一全息模型的缩小版，同时保持实时同步。
• 将HoloLens与身体安装的促动器集成，提供了一种自包含的移动平台，用于实体全息技术，区别于固定位置的形态可变界面。