[论文解读] Innovative semantic communication system

Dong Chen, Haotai Liang+4 more|arXiv (Cornell University)|Feb 19, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

该论文提出了一种新型语义通信系统AES-C-I，可同时传输语义特征及其对应的解码器，实现高效、基于人工智能的图像通信。通过将深度学习与通信理论相结合，该系统在低信噪比（SNR）条件下实现了优异的图像重建质量与语义保真度，其在噪声信道中的感知质量和识别准确率优于传统JPEG压缩。

ABSTRACT

Traditional communication systems focus on the transmission process, and the context-dependent meaning has been ignored. The fact that 5G system has approached Shannon limit and the increasing amount of data will cause communication bottleneck, such as the increased delay problems. Inspired by the ability of artificial intelligence to understand semantics, we propose a new communication paradigm, which integrates artificial intelligence and communication, the semantic communication system. Semantic communication is at the second level of communication based on Shannon and Weaver\cite{6197583}, which retains the semantic features of the transmitted information and recovers the signal at the receiver, thus compressing the communication traffic without losing important information. Different from other semantic communication systems, the proposed system not only transmits semantic information but also transmits semantic decoder. In addition, a general semantic metrics is proposed to measure the quality of semantic communication system. In particular, the semantic communication system for image, namely AESC-I, is designed to verify the feasibility of the new paradigm. Simulations are conducted on our system with the additive white Gaussian noise (AWGN) and the multipath fading channel using MNIST and Cifar10 datasets. The experimental results show that DeepSC-I can effectively extract semantic information and reconstruct images at a relatively low SNR.

研究动机与目标

• 为解决5G系统中数据量激增导致的通信瓶颈以及逼近香农极限的问题。
• 克服传统通信系统仅关注比特准确性而忽视语义意义的局限性。
• 设计一种语义通信框架，通过传输语义特征与解码器，实现通用解码能力。
• 提出一种通用的语义度量方法，用于评估语义通信性能，尤其针对图像数据。
• 通过在AWGN和瑞利衰落信道下对MNIST与CIFAR-10数据集的仿真，验证所提系统的可行性与优越性。

提出的方法

• 该系统采用基于自编码器的架构，编码器与解码器结构共享，利用卷积层与转置卷积层提取并重建语义特征。
• 语义特征被压缩为维度为 $ Z_{\text{dim}} $ 的潜在向量，压缩比由 $ Z_{\text{dim}} $ 控制，避免使用全连接层以减少参数量。
• 采用混合损失函数，结合均方误差（MSE）与语义损失，平衡系数 $ \gamma = 0.1 $ 以优化重建质量与语义保真度。
• 系统同时传输编码后的语义表示与解码器模型，使任意接收端均可解码信号，无论信号来源类型如何。
• 语义质量通过LPIPS（学习感知图像块相似度）与识别率比值进行评估，替代传统的PSNR/SSIM指标。
• 在AWGN与慢衰落信道下，对MNIST与CIFAR-10数据集进行仿真，测试不同SNR与压缩比下的性能。

实验结果

研究问题

• RQ1 在低SNR环境下，一种同时传输语义特征与解码器的语义通信系统是否能优于传统压缩方法？
• RQ2 所提出的语义度量方法——特别是识别率比值——是否能真实反映重建图像的语义保真度？
• RQ3 在低信噪比条件下，该系统在多大程度上仍能保留关键语义特征（如物体身份）？
• RQ4 在不同压缩比与信道条件下，该系统的性能与JPEG相比如何？
• RQ5 该系统是否能在不同图像数据集与信道类型（包括衰落信道）下保持稳定性能？

主要发现

• 在所有测试的压缩比与SNR水平下，AES-C-I在感知图像质量（LPIPS）方面均优于JPEG，尤其在低SNR环境下表现更优。
• 在低SNR条件下（如AWGN中2.5 dB，衰落信道中8 dB），AES-C-I能更清晰地重建语义特征（如物体轮廓与身份），而JPEG则出现明显的块状噪声。
• AES-C-I的识别率比值在不同压缩比下保持稳定且较高，表明其语义保真度一致可靠。
• 该系统表现出‘悬崖效应’，即当SNR超过某一阈值后，重建质量出现急剧提升。
• 即使背景细节被扭曲，AES-C-I仍能成功重建关键语义组件（如车辆形状），展现出良好的语义保留能力。
• 基于识别率比值的通用语义度量方法，相比PSNR或SSIM，能更准确地反映语义质量。