[论文解读] Goal-oriented Semantic Communications for Avatar-centric Augmented Reality

Zhe Wang, Yansha Deng+1 more|arXiv (Cornell University)|Jun 27, 2023

IoT and Edge/Fog Computing被引用 4

一句话总结

该论文提出了一种面向化身的、任务导向且语义感知的通信框架（TSAR），用于化身中心的增强现实应用，通过语义抽象和共享基础知识，将6G无线AR系统中传统点云传输的传输延迟降低了95.6%，几何保真度和色彩保真度分别提升了82.4%和20.4%。

ABSTRACT

Upon the advent of the emerging metaverse and its related applications in Augmented Reality (AR), the current bit-oriented network struggles to support real-time changes for the vast amount of associated information, hindering its development. Thus, a critical revolution in the Sixth Generation (6G) networks is envisioned through the joint exploitation of information context and its importance to the task, leading to a communication paradigm shift towards semantic and effectiveness levels. However, current research has not yet proposed any explicit and systematic communication framework for AR applications that incorporate these two levels. To fill this research gap, this paper presents a task-oriented and semantics-aware communication framework for augmented reality (TSAR) to enhance communication efficiency and effectiveness in 6G. Specifically, we first analyse the traditional wireless AR point cloud communication framework and then summarize our proposed semantic information along with the end-to-end wireless communication. We then detail the design blocks of the TSAR framework, covering both semantic and effectiveness levels. Finally, numerous experiments have been conducted to demonstrate that, compared to the traditional point cloud communication framework, our proposed TSAR significantly reduces wireless AR application transmission latency by 95.6%, while improving communication effectiveness in geometry and color aspects by up to 82.4% and 20.4%, respectively.

研究动机与目标

• 解决元宇宙中实时化身中心增强现实（AR）应用对高带宽和低延迟的严苛需求。
• 克服传统比特导向无线通信在处理复杂、动态AR数据（如点云和化身）时的局限性。
• 开发一种系统化、端到端的通信框架，整合AR应用的语义层与有效性层。
• 通过聚焦化身数据中与任务相关的语义内容和结构关系，提升通信效率和用户体验质量（QoE）。

提出的方法

• 设计一种基于图的表示方法，用于建模化身各语义组件（包括几何、颜色和骨骼结构）之间的关系。
• 引入一种基于深度学习的语义信息提取器，识别并仅传输与任务相关的语义特征。
• 利用收发端共享的基础知识（如预定义的化身骨骼和模型）以减少冗余数据传输。
• 实现一个端到端的无线通信流程，其中语义特征被提取、压缩并传输，接收端则利用共享知识进行重建。
• 使用有效性层指标（如P2Point（点到点误差）和PSNR_y（亮度PSNR））评估重建过程中的几何和色彩保真度。
• 通过用紧凑的骨骼表示（25个点）替代完整的点云数据来优化传输，显著降低数据量。

Figure 1: Traditional point cloud communication framework

实验结果

研究问题

• RQ1 如何系统性地将语义通信集成到化身中心的AR应用中，以提升效率与有效性？
• RQ2 共享基础知识在无线AR系统中如何减少传输开销，同时保持化身保真度？
• RQ3 与传统方法相比，任务导向的语义抽象在AR点云传输中能在多大程度上降低延迟和带宽消耗？
• RQ4 语义特征与有效性层特征如何协同作用，以提升AR化身渲染的重建质量？
• RQ5 无线信道条件（如信噪比SNR）对语义感知AR通信框架性能有何影响？

主要发现

• 与传统点云通信相比，TSAR框架将传输延迟降低了95.6%，显著提升了实时性能。
• 在最优SNR条件下，TSAR将几何保真度（P2Point）提升高达82.4%，色彩保真度（PSNR_y）提升高达20.4%。
• EC-TSAR和E-TSAR框架在P2Point和PSNR_y指标上均优于TSAR和点云，归因于对基础知识的更优利用。
• 即使在低SNR（低于8 dB）条件下，EC-TSAR和E-TSAR仍能保持稳定性能，畸变极小，而TSAR和点云的畸变随信噪比下降而显著增加。
• 语义提取步骤每100帧仅增加约1秒延迟，与传输数据量的大幅减少相比可忽略不计。
• 使用25个骨骼点而非2,048个点云点进行姿态更新，可显著降低客户端渲染时间和带宽使用。

Figure 2: Task-oriented and semantics-aware communication framework