[论文解读] Mulsemedia Communication Research Challenges for Metaverse in 6G Wireless Systems

Ian F. Akyildiz, Hongzhi Guo+2 more|arXiv (Cornell University)|Jun 28, 2023

Energy Harvesting in Wireless Networks参考文献 61被引用 5

一句话总结

本文识别出多感官通信（mulsemedia）——即整合视觉、听觉、触觉、嗅觉和味觉的多感官通信——是6G无线系统中实现沉浸式元宇宙体验的关键。文章提出，6G的高带宽、超低延迟和智能网络能力可实现多感官内容的实时、同步传输，研究方向包括QoE优化、边缘计算以及基于人工智能的资源管理。

ABSTRACT

Although humans have five basic senses, sight, hearing, touch, smell, and taste, most multimedia systems in current systems only capture two of them, namely, sight and hearing. With the development of the metaverse and related technologies, there is a growing need for a more immersive media format that leverages all human senses. Multisensory media(Mulsemedia) that can stimulate multiple senses will play a critical role in the near future. This paper provides an overview of the history, background, use cases, existing research, devices, and standards of mulsemedia. Emerging mulsemedia technologies such as Extended Reality (XR) and Holographic-Type Communication (HTC) are introduced. Additionally, the challenges in mulsemedia research from the perspective of wireless communication and networking are discussed. The potential of 6G wireless systems to address these challenges is highlighted, and several research directions that can advance mulsemedia communications are identified.

研究动机与目标

• 为解决当前多媒体系统仅支持视觉和听觉的局限，通过推进多感官（mulsemedia）通信以实现对人类全部感官的全面参与。
• 识别无线通信与网络在mulsemedia方面的关键研究挑战，特别是在元宇宙和6G系统背景下的挑战。
• 探讨6G无线系统如何实现跨五种人类感官的移动化、实时化和同步化的多感官内容传输。
• 提出QoE建模、边缘计算和基于人工智能的网络管理等研究方向，以支持高保真mulsemedia流媒体传输。
• 强调新兴技术（如XR、HTC和大语言模型）在实现下一代沉浸式通信系统中的作用。

提出的方法

• 提出一种mulsemedia通信系统架构，整合感官源、6G赋能的网络以及终端的多感官渲染。
• 引入移动边缘计算以降低端到端延迟，实现实时处理三维视觉、触觉、嗅觉和听觉数据。
• 利用大语言模型（LLMs）和专用大数据通信模型（LDCMs）实现mulsemedia系统中的自主网络配置、资源调度和自愈功能。
• 基于主观与客观反馈（包括生物信号和生理反应）进行QoE建模，以量化多感官模态下的用户体验。
• 提出通信与计算的联合优化以最小化延迟，采用轻量化算法，并将计算任务智能地卸载至云端或边缘节点。
• 建议基于物理层特性（如太赫兹频段信道行为和干扰）的波形与传输参数优化，以提升QoE。

实验结果

研究问题

• RQ1 6G无线系统如何克服当前通信与网络的局限，以实现实时、同步地在五种人类感官间传输多感官内容？
• RQ2 mulsemedia通信在延迟、带宽和同步方面应具备哪些关键性能要求，以支持沉浸式元宇宙应用？
• RQ3 如何利用基于人工智能的模型（如LLMs和LDCMs）实现mulsemedia网络中资源分配的自主管理并优化QoE？
• RQ4 边缘计算在降低高保真、交互式mulsemedia体验的端到端延迟方面发挥什么作用？
• RQ5 物理层参数（如发射功率、干扰和大气吸收，例如在太赫兹频段）如何影响mulsemedia服务的QoE？

主要发现

• mulsemedia通信通过超越视觉和听觉的多感官参与，显著提升了用户体验质量（QoE），原型系统已证明其有效性。
• 6G无线系统对于实现移动化、低延迟和高带宽的多感官数据传输至关重要，是支持沉浸式元宇宙应用的关键。
• 必须以极低且一致的延迟保持五种感官（视觉、听觉、触觉、嗅觉和味觉）的同步，以确保感知保真度。
• 边缘计算与智能卸载对满足XR和HTC等交互式mulsemedia应用的严格延迟要求至关重要。
• 大语言模型（LLMs）和专用大数据通信模型（LDCMs）可实现网络的自主管理，包括自配置、自愈和动态资源调度。
• 融合物理层参数与生物信号的QoE建模，可实现mulsemedia传输与波形设计的数据驱动优化，从而提升用户满意度。