[论文解读] ISCom: Interest-aware Semantic Communication Scheme for Point Cloud Video Streaming

Yakun Huang, Boyuan Bai+4 more|arXiv (Cornell University)|Oct 13, 2022

Visual Attention and Saliency Detection被引用 9

一句话总结

ISCom 提出了一种面向资源受限设备上实时点云视频（PCV）流媒体的感兴趣语义通信框架。它集成了两阶段感兴趣区域（ROI）选择、轻量级 PCV 编解码网络以及基于深度强化学习（DRL）的调度器，以减少数据量并实现实时解码，在移动设备上的帧率较基线方法至少提升 10 FPS。

ABSTRACT

The provisioning of immersive point cloud video (PCV) streaming on pervasive mobile devices is a cornerstone for enabling immersive communication and interactions in the future 6G metaverse era. However, most streaming techniques are dedicated to efficient PCV compression and codec extending from traditional 3-DoF video services. Some emerging AI-enabled approaches are still in their infancy phase and are constrained by intensive computational and adaptive flow techniques. In this paper, we present ISCom, an Interest-aware Semantic Communication Scheme for PCV, consisting of a region-of-interest (ROI) selection module, a lightweight PCV streaming module, and an intelligent scheduler. First, we propose a two-stage efficient ROI selection method for providing interest-aware PCV streaming, which significantly reduces the data volume. Second, we design a lightweight PCV encoder-decoder network for resource-constrained devices, adapting to the heterogeneous computing capabilities of terminals. Third, we train a deep reinforcement learning (DRL)-based scheduler to adapt an optimal encoder-decoder network for various devices, considering the dynamic network environments and computing capabilities of different devices. Extensive experiments show that ISCom outperforms baselines on mobile devices at least 10 FPS and up to 22 FPS.

研究动机与目标

• 解决在 AR/VR 头戴设备等资源受限移动设备上实现实时、沉浸式点云视频（PCV）流媒体传输的挑战。
• 通过聚焦 3D 点云内容中的用户感兴趣区域（ROI），减少传输数据量和计算开销。
• 通过设计轻量级神经网络以实现高效编码与解码，实现在低端设备上的实时 PCV 重建。
• 通过支持异构设备间计算能力差异与动态网络条件的自适应流媒体传输。
• 将语义通信原理与 AI 原生技术相结合，优化通信、计算与存储之间的权衡。

提出的方法

• 提出一种两阶段 ROI 选择方法，利用动态与静态多维特征识别点云帧中的用户感兴趣区域，显著降低数据量。
• 设计专为资源受限终端优化的轻量级 PCV 编码器-解码器网络，在保持感知质量的同时最小化计算负载。
• 采用基于深度强化学习（DRL）的调度器，根据实时设备能力与网络状况动态选择最优编码-解码配置。
• 通过传输关键语义特征而非原始点云数据实现语义通信，降低带宽需求。
• 通过离线训练多个轻量级神经网络模型实现灵活部署，支持在线适配多样化的终端硬件。
• 结合几何、属性与运动补偿压缩技术，提升整体压缩效率。

实验结果

研究问题

• RQ1 如何有效捕捉并利用用户兴趣，以减少点云视频流媒体中的冗余数据传输？
• RQ2 何种轻量级神经架构能够在计算资源有限的移动与边缘设备上实现实时 PCV 重建？
• RQ3 智能调度器如何动态适应异构设备与变化的网络条件，以优化编码与解码过程？
• RQ4 语义通信原理在 6-DoF 沉浸式 PCV 服务中能在多大程度上减少数据量并提升效率？
• RQ5 在移动平台中，结合感兴趣 ROI 选择与轻量级语义编码后，帧率与质量的性能提升程度如何？

主要发现

• ISCom 在移动设备上的帧率较最先进 AI 驱动方法至少提升 10 FPS，最高提升达 22 FPS。
• 两阶段 ROI 选择方法通过聚焦用户感兴趣区域显著降低数据量，提升传输效率。
• 轻量级 PCV 编码器-解码器网络实现在资源受限终端上的实时重建，突破了现有基于 AI 的编解码器的计算瓶颈。
• 基于 DRL 的调度器成功将最优网络配置适配至不同设备与动态环境，确保性能稳定。
• ISCom 通过传输语义特征而非原始点云数据，实现了高比率压缩，显著降低带宽需求。
• 该系统在大幅减少计算与传输开销的同时保持了高质量流媒体传输，使在普及型设备上实现实时沉浸式 PCV 成为可能。