[论文解读] Affordance Analysis of Virtual and Augmented Reality Mediated Communication

Mohammad Keshavarzi, Michael Wu+3 more|arXiv (Cornell University)|Apr 9, 2019

Virtual Reality Applications and Impacts参考文献 31被引用 7

一句话总结

本研究通过九类任务类型的用户实验，调查了在虚拟现实（VR）和增强现实（AR）媒介的一对一对话中非语言交流特征的影响。研究发现，在情感投入或智力复杂度较高的对话中，保留微表情线索是实现有效双向交流的最关键因素，其影响优于肢体比例、头部姿态和手势。

ABSTRACT

Virtual and augmented reality communication platforms are seen as promising modalities for next-generation remote face-to-face interactions. Our study attempts to explore non-verbal communication features in relation to their conversation context for virtual and augmented reality mediated communication settings. We perform a series of user experiments, triggering nine conversation tasks in 4 settings, each containing corresponding non-verbal communication features. Our results indicate that conversation types which involve less emotional engagement are more likely to be acceptable in virtual reality and augmented reality settings with low-fidelity avatar representation, compared to scenarios that involve high emotional engagement or intellectually difficult discussions. We further systematically analyze and rank the impact of low-fidelity representation of micro-expressions, body scale, head pose, and hand gesture in affecting the user experience in one-on-one conversations, and validate that preserving micro-expression cues plays the most effective role in improving bi-directional conversations in future virtual and augmented reality settings.

研究动机与目标

• 评估不同非语言交流特征对VR/AR媒介一对一对话中用户体验的影响。
• 识别在沉浸式环境中对成功交流最为关键的非语言线索，例如微表情、手势、肢体比例和头部姿态。
• 确定对话情境（情感投入 vs. 智力投入）如何影响特定交流特征 perceived 重要性的感知。
• 通过基于用户中心的交流特征影响优先级，为未来VR/AR开发提供资源分配指导。
• 比较VR、AR和2D视频会议在可用性和非语言交流感知质量方面的表现。

提出的方法

• 在四种通信设置下开展用户实验：2D视频会议、VR、AR和全息投影。
• 设计了九类在情感投入和智力复杂度上各不相同的对话任务，以测试不同的交流情境。
• 通过李克特量表问卷收集直接反馈，并通过对话结果进行间接行为分析。
• 系统性地操控并评估关键非语言特征（微表情、手势、肢体比例和头部姿态）的存在与否。
• 使用对话成功率和参与者评分来对每种交流特征的影响进行排序。
• 通过比较各类任务中直接问卷反馈与间接表现数据，验证研究发现。

实验结果

研究问题

• RQ1 不同类型的对话（情感投入 vs. 智力复杂）如何影响VR/AR通信中非语言线索感知有效性的变化？
• RQ2 微表情、手势、肢体比例和头部姿态在沉浸式通信环境中的用户体验中，其相对影响如何？
• RQ3 用户在多大程度上认为特定非语言线索的缺失会显著损害对话质量？
• RQ4 直接用户评分与间接表现指标在评估交流特征重要性方面有何差异？
• RQ5 在VR/AR中，哪种非语言特征——微表情、手势、肢体比例或头部姿态——最显著地提升双向交流质量？

主要发现

• 在高情感投入或高智力复杂度的对话中，当未保留微表情时，低保真度的VR/AR环境下的对话接受度显著下降。
• 微表情线索对对话质量的影响最大，当其缺失时，尤其在情感投入任务中，认可率显著下降。
• 肢体比例被发现是影响最小的因素，真实与非真实比例之间在认可率上无显著差异。
• 头部姿态的感知影响微乎其微，参与者极少将其视为影响交流质量的因素。
• 手势在直接评分（感知重要性高出34%）与间接表现之间存在差异，表明VR的局限性可能扭曲感知。
• 直接问卷反馈与间接分析的结合证实，微表情是维持沉浸式环境中有效双向交流的最有效非语言线索。