[论文解读] Immersive Media and Massive Twinning: Advancing Towards the Metaverse

Wassim Hamidouche, Lina Bariah+1 more|arXiv (Cornell University)|Jul 4, 2023

Virtual Reality Applications and Impacts被引用 5

一句话总结

本文提出了一种用于元宇宙沉浸式多媒体通信的框架，强调3D媒体、数字孪生技术以及6G等先进无线技术，以实现实体与数字环境之间的实时、高保真交互。文章识别了3D数据处理、编码、传输和渲染中的关键挑战，并倡导采用语义化、全息化和目标导向的通信方式，以实现超低延迟和高谱效用。

ABSTRACT

The advent of the Metaverse concept has further expedited the evolution of haptic, tactile internet, and multimedia applications with their VR/AR/XR services, and therefore, fully-immersive sensing is most likely to define the next generation of wireless networks as a key to realize the speculative vision of the Metaverse. In this magazine, we articulate different types of media that we envision will be communicated between the cyber and physical twins in the Metaverse. In particular, we explore the advantages grasped by exploiting each kind, and we point out critical challenges pertinent to 3D data processing, coding, transporting, and rendering. We further shed light on the role of future wireless networks in delivering the anticipated quality of immersion through the reliable streaming of multimedia signals between the digital twin and its physical counterpart. Specifically, we explore emergent communication paradigms, including semantic, holographic, and goal-oriented communication, which we expect to realize energy and spectrally efficient Metaverse while ensuring ultra-low latency.

研究动机与目标

• 定义沉浸式媒体与数字孪生技术在推进元宇宙愿景中的作用。
• 识别实现实时光伏元宇宙应用中3D媒体处理、编码、传输和渲染的关键挑战。
• 分析未来无线网络（尤其是6G）在支持沉浸式多媒体超可靠、低延迟传输中的作用。
• 探索语义化、全息化和目标导向通信等新兴通信范式，以实现元宇宙的高效运行。
• 突出大规模元宇宙部署中涉及的伦理、隐私和用户体验（QoE）挑战。

提出的方法

• 对不同的沉浸式媒体模态进行分类与评估，包括3D视觉内容、光场、点云和数字全息图。
• 分析ISO/IEC 21794-1至21794-6等标准在3D媒体压缩与传输中的应用，特别聚焦于JPEG Pleno。
• 提出使用空间光调制器（SLMs）与数值重建技术实现无物理屏幕的3D显示，即数字全息技术。
• 引入先进的无线通信范式——语义通信、全息通信和目标导向通信，以优化能量与频谱效率。
• 评估6G网络与边缘计算及一体化感知与通信（ISAC）的集成，以实现低延迟、高吞吐量的传输。
• 提出一种系统级框架，通过高分辨率触觉与多媒体传感实现物理孪生（PTs）与网络孪生（CTs）之间的双向通信。

Figure 1: Immersive Media for Digital Twin: Opportunities, Limitations, 6G Technologies, and Challenges.

实验结果

研究问题

• RQ1 如何在元宇宙中有效编码、传输和渲染光场、点云和数字全息图等3D视觉媒体模态？
• RQ2 在实体孪生与数字孪生之间实现实时、高保真沉浸式多媒体流传输的关键技术挑战是什么？
• RQ3 新兴无线通信范式（如语义通信、全息通信和目标导向通信）如何提升元宇宙通信的效率与可靠性？
• RQ4 6G网络与一体化感知与通信（ISAC）在支持沉浸式媒体超低延迟、高吞吐量传输中发挥什么作用？
• RQ5 在大规模部署传感器与生物特征数据采集的元宇宙中，如何应对隐私、安全与伦理问题？

主要发现

• 数字全息技术可通过波前重建实现在自由空间中的3D场景表示，但受限于SLM的分辨率和高计算复杂度。
• ISO/IEC 21794-5和21794-6标准规范了数字全息图与点云的编码与重建，NRSH软件可实现高精度的数值重建。
• 全息重建存在严重的混叠与斑点噪声，导致图像质量下降，限制了实际部署。
• 6G网络对于满足元宇宙在超低延迟、高吞吐量和大规模连接方面的需求至关重要。
• 语义通信与目标导向通信是降低频谱与能耗成本、同时保持高质量沉浸式体验的有前景范式。
• 元宇宙中用户的体验质量（QoE）取决于视频/音频质量、延迟、抖动与显示舒适度的联合优化，需开发新的QoE估计模型。

Figure 2: Viewing degrees of freedom (DoF) enabled by 3D visual modalities.