[论文解读] Context-Aware Mixed Reality: A Framework for Ubiquitous Interaction

Long Chen, Wen Tang+3 more|arXiv (Cornell University)|Mar 14, 2018

Augmented Reality Applications参考文献 34被引用 12

一句话总结

本文提出了一种上下文感知的混合现实框架，通过将基于深度学习的语义分割与密集SLAM相结合，实现了虚拟与真实物体之间的材料特定、物理真实的交互。通过实时为3D场景几何结构标注语义材料属性，该系统相较于仅基于几何结构或统一交互的方法，显著提升了沉浸感与真实感，用户评估显示感知真实感提升了2.5分（p < 0.001）。

ABSTRACT

Mixed Reality (MR) is a powerful interactive technology that yields new types of user experience. We present a semantic based interactive MR framework that exceeds the current geometry level approaches, a step change in generating high-level context-aware interactions. Our key insight is to build semantic understanding in MR that not only can greatly enhance user experience through object-specific behaviours, but also pave the way for solving complex interaction design challenges. The framework generates semantic properties of the real world environment through dense scene reconstruction and deep image understanding. We demonstrate our approach with a material-aware prototype system for generating context-aware physical interactions between the real and the virtual objects. Quantitative and qualitative evaluations are carried out and the results show that the framework delivers accurate and fast semantic information in interactive MR environment, providing effective semantic level interactions.

研究动机与目标

• 解决当前几何感知MR系统存在的局限性，即对所有现实世界物体一视同仁，导致交互不真实。
• 通过整合语义场景理解与3D重建，实现在混合现实中更高级别的上下文感知交互。
• 开发一种支持基于真实世界材料属性的物体特定物理行为（例如：在混凝土上击穿、在木头上弹跳）的系统。
• 通过具备实时推理能力的原型系统，展示语义感知MR的可行性及其用户体验优势。
• 建立未来复杂MR应用中高级交互设计的基础，将语义理解作为核心组成部分。

提出的方法

• 利用密集SLAM（具体为KinectFusion）实时重建真实环境的详细3D几何结构。
• 应用在大规模材料数据库上训练的条件随机场作为循环神经网络（CRF-RNN）模型，对2D图像进行语义分割。
• 将2D图像空间中的语义标签映射到3D重建的3D网格上，为每个表面贴图分配材料属性。
• 将语义标签集成到物理引擎中，以实现上下文感知的物理交互（例如：不同材料上的弹孔表现不同，物体弹跳行为取决于表面类型）。
• 利用融合后的3D语义网格进行实时推理，驱动用户交互过程中的动态、材料特定响应。
• 开发一个射击游戏原型与一个盘子投掷游戏原型，以在真实用户交互场景下评估系统性能。

实验结果

研究问题

• RQ1 能否有效将真实世界材料的语义理解与3D场景重建相结合，以实现在混合现实中的上下文感知交互？
• RQ2 在MR体验中，引入材料特定的物理行为如何提升用户对真实感与沉浸感的感知？
• RQ3 在用户体验评估中，语义感知交互在多大程度上优于仅基于几何结构或统一交互模型？
• RQ4 基于深度学习的语义分割流程是否能够高效且准确地应用于具备密集3D重建的实时MR系统？
• RQ5 用户在第一人称射击游戏（FPS）或VR/AR游戏方面的先前经验，是否会影响其对语义感知MR交互的感知？

主要发现

• 所提出的语义碰撞网格条件在用户体验评分上达到平均值8.427（标准差 = 1.995），显著高于统一碰撞网格（M = 5.935，标准差 = 1.458）和无碰撞网格（M = 3.71，标准差 = 1.99）条件，重复测量方差分析结果p < 0.001。
• 与统一交互模型相比，语义感知系统在感知真实感方面提升了2.5分，表明用户对材料特定行为具有强烈偏好。
• 用户反馈一致强调语义交互的重要性，参与者指出即使图形保真度较低，只要存在材料特定响应，整体感觉也会更真实。
• 缺乏语义交互被批评为违背物理定律——例如，盘子在软垫椅子上碎裂——表明用户期望基于材料上下文实现真实感。
• 用户在FPS（69.57%）或VR/AR游戏（65.22%）方面的先前经验对用户评分无显著影响（p = 0.793 和 p = 0.766），表明语义交互带来的真实感优势在不同用户群体中均具鲁棒性。
• 该框架成功实现了语义标注与基于物理的交互的实时推理，展示了在动态MR环境中兼具效率与准确性的能力。