[论文解读] Large AI Model-Based Semantic Communications

Feibo Jiang, Yubo Peng+5 more|arXiv (Cornell University)|Jul 7, 2023

Robotics and Automated Systems被引用 4

一句话总结

该论文提出了一种基于大模型的图像语义通信（LAM-SC）框架，利用分割一切模型（SAM）构建高质量图像分割的语义知识库（SKB）。该框架引入了基于注意力的语义融合（ASI），可自主加权并融合语义片段；同时采用自适应语义压缩（ASC）以减少通信开销，在保持高图像保真度的同时，相比传统语义通信方案将传输比特数减少了81.8%。

ABSTRACT

Semantic communication (SC) is an emerging intelligent paradigm, offering solutions for various future applications like metaverse, mixed reality, and the Internet of Everything. However, in current SC systems, the construction of the knowledge base (KB) faces several issues, including limited knowledge representation, frequent knowledge updates, and insecure knowledge sharing. Fortunately, the development of the large AI model (LAM) provides new solutions to overcome the above issues. Here, we propose a LAM-based SC framework (LAM-SC) specifically designed for image data, where we first apply the segment anything model (SAM)-based KB (SKB) that can split the original image into different semantic segments by universal semantic knowledge. Then, we present an attention-based semantic integration (ASI) to weigh the semantic segments generated by SKB without human participation and integrate them as the semantic aware image. Additionally, we propose an adaptive semantic compression (ASC) encoding to remove redundant information in semantic features, thereby reducing communication overhead. Finally, through simulations, we demonstrate the effectiveness of the LAM-SC framework and the possibility of applying the LAM-based KB in future SC paradigms.

研究动机与目标

• 为解决现有语义通信（SC）系统在知识表征能力有限、更新频繁以及知识共享不安全等方面的局限性。
• 利用大模型——特别是分割一切模型（SAM）——构建适用于图像数据的稳健、通用的语义知识库（SKB）。
• 设计端到端的SC框架，在通过自动语义融合与压缩保持语义保真度的同时，最大限度降低通信开销。
• 在真实信道条件下，利用标准图像重建指标评估所提框架的性能。

提出的方法

• 设计基于分割一切模型（SAM）的知识库（SKB），实现输入图像的通用、零样本语义分割，生成有意义的语义片段。
• 提出基于注意力的语义融合（ASI）机制，自动为分割后的语义特征分配权重，并在无需人工干预的情况下将它们融合为统一的、语义感知的表示。
• 引入自适应语义压缩（ASC），去除语义特征中的冗余信息，减少传输数据量，同时保留关键语义内容。
• 将SKB、ASI与ASC整合为完整的LAM-SC框架，以语义级通信替代传统比特级传输。
• 使用深度神经网络端到端训练系统，联合优化语义表征保真度与通信效率。
• 采用联合训练策略优化语义编码器、解码器与信道组件，实现语义保真度与传输效率的全局最优。

实验结果

研究问题

• RQ1 像SAM这样的大模型能否被有效用于构建可扩展且准确的图像语义通信语义知识库（SKB）？
• RQ2 基于注意力的语义融合（ASI）在无监督条件下自动融合语义片段的效率如何？
• RQ3 自适应语义压缩（ASC）在保持语义准确性的前提下，能在多大程度上降低通信开销？
• RQ4 在图像重建质量与数据压缩方面，LAM-SC框架相较于传统SC方案表现如何？

主要发现

• 与传统SC相比，LAM-SC框架在传输数据量上减少了81.8%，仅需8,960比特，而传统SC方案需49,152比特传输原始图像。
• 在相同信噪比（SNR）条件下，LAM-SC框架的损失值收敛更快且更稳定，优于传统SC方案。
• LAM-SC框架实现了更高的峰值信噪比（PSNR）值，表明图像在传输过程中失真更小。
• LAM-SC框架保持了更优的结构相似性（SSIM）值，证明其在图像结构与语义一致性方面具有更好的保持能力。
• 所提出的ASI机制成功实现了语义片段的自动融合，几乎无需人工干预，显著提升了系统自动化水平。
• ASC组件有效去除了冗余的语义特征，大幅降低通信开销，同时未损害语义保真度。