[论文解读] Social VR and multi-party holographic communications: Opportunities, Challenges and Impact in the Education and Training Sectors

Mario Montagud, Gianluca Cernigliaro+4 more|arXiv (Cornell University)|Oct 1, 2022

Virtual Reality Applications and Impacts被引用 7

一句话总结

本文研究了社交虚拟现实（VR）和多人全息通信作为教育与培训的变革性工具，提出了一种沉浸式、具备空间感知能力的环境，以克服传统视频会议的局限性。通过全面的文献回顾，本文表明社交VR显著提升了互动质量、共在感和情境意识，尤其在虚拟课堂、协同设计和远程会议中表现突出，同时指出了阻碍其广泛采用的关键技术和方法论挑战。

ABSTRACT

Technological advances can bring many benefits to our daily lives, and this includes the education and training sectors. In the last years, online education, teaching and training models are becoming increasingly adopted, in part influenced by major circumstances like the pandemic. The use of videoconferencing tools in such sectors has become fundamental, but recent research has shown their multiple limitations in terms of relevant aspects, like comfort, interaction quality, situational awareness, (co-)presence, etc. This study elaborates on a new communication, interaction and collaboration medium that becomes a promising candidate to overcome such limitations, by adopting immersive technologies: Social Virtual Reality (VR). First, this article provides a comprehensive review of studies having provided initial evidence on (potential) benefits provided by Social VR in relevant use cases related to education, such as online classes, training and co-design activities, virtual conferences and interactive visits to virtual spaces, many of them including comparisons with classical tools like 2D conferencing. Likewise, the potential benefits of integrating realistic and volumetric users' representations to enable multi-party holographic communications in Social VR is also discussed. Next, this article identifies and elaborates on key limitations of existing studies in this field, including both technological and methodological aspects. Finally, it discusses key remaining challenges to be addressed to fully exploit the potential of Social VR in the education sector.

研究动机与目标

• 评估社交VR和多人全息通信在改善教育与培训体验方面的潜力。
• 识别当前视频会议工具在促进互动质量、共在感和情境意识方面的局限性。
• 分析在沉浸式虚拟环境中，真实感、体积分形用户表示对协作学习的益处。
• 概述阻碍这些系统在教育领域大规模采用的关键技术与方法论挑战。
• 为沉浸式教育技术的未来研究与开发提供路线图。

提出的方法

• 对社交VR在教育领域中的研究进行综合性文献回顾，包括与二维视频会议工具的对比。
• 分析虚拟课堂、协同设计会议和沉浸式环境中远程会议等实际应用案例中的实证证据。
• 评估将体积分形和真实感3D用户表示集成到社交VR中，以实现在多人环境下的全息通信。
• 识别技术限制，如渲染保真度、延迟和硬件可及性。
• 评估现有研究中的方法论缺口，包括缺乏标准化评估指标和纵向研究。
• 将研究发现整合为一个框架，以指导教育和培训场景中未来实施的挑战与机遇。

实验结果

研究问题

• RQ1 在教育环境中，社交VR与传统二维视频会议相比，在用户参与度、共在感和互动质量方面有何差异？
• RQ2 在社交VR中，将真实感、体积分形用户表示集成到多人全息通信中，对协作学习有何具体益处？
• RQ3 当前哪些技术和方法论限制了社交VR在教育和培训中可扩展性和有效性的提升？
• RQ4 沉浸式虚拟环境在何种方式下可增强虚拟协同设计或远程会议期间的情境意识与协作动态？
• RQ5 为实现社交VR和全息通信在正式教育和专业培训项目中的广泛采用，必须解决哪些关键挑战？

主要发现

• 与传统二维视频会议工具相比，社交VR在虚拟课堂和协作任务中显著提升了感知到的共在感和互动质量。
• 将真实感、体积分形用户表示集成到多用户虚拟环境中，可增强社会存在感和非语言沟通，从而带来更自然、更具参与感的互动体验。
• 现有社交VR在教育领域研究存在方法论局限，包括样本量小、缺乏对照组和评估指标不一致。
• 关键技术挑战包括高延迟、3D化身渲染保真度有限以及硬件可及性不足，尤其是在广泛教育部署方面。
• 虚拟会议和对3D虚拟空间的互动访问在支持空间交互和共享虚拟工作区时，展现出强大的沉浸式学习潜力。
• 尽管结果具有前景，但其对学习成果的长期影响和可扩展性仍缺乏充分研究，凸显了关键的研究空白。