[论文解读] A Lite Distributed Semantic Communication System for Internet of Things

Huiqiang Xie, Zhijin Qin|arXiv (Cornell University)|Jul 21, 2020

Wireless Signal Modulation Classification参考文献 37被引用 11

一句话总结

本文提出 L-DeepSC，一种面向物联网的轻量级分布式语义通信系统，通过联合优化语义级传输与模型压缩，实现高效的文本传输。通过结合结构化剪枝、低精度量化（最低至 4 位）以及信道状态信息（CSI）辅助训练，L-DeepSC 在性能损失可忽略的情况下实现了高达 80 倍的压缩率，尤其在低信噪比（SNR）条件下表现优异。

ABSTRACT

The rapid development of deep learning (DL) and widespread applications of Internet-of-Things (IoT) have made the devices smarter than before, and enabled them to perform more intelligent tasks. However, it is challenging for any IoT device to train and run DL models independently due to its limited computing capability. In this paper, we consider an IoT network where the cloud/edge platform performs the DL based semantic communication (DeepSC) model training and updating while IoT devices perform data collection and transmission based on the trained model. To make it affordable for IoT devices, we propose a lite distributed semantic communication system based on DL, named L-DeepSC, for text transmission with low complexity, where the data transmission from the IoT devices to the cloud/edge works at the semantic level to improve transmission efficiency. Particularly, by pruning the model redundancy and lowering the weight resolution, the L-DeepSC becomes affordable for IoT devices and the bandwidth required for model weight transmission between IoT devices and the cloud/edge is reduced significantly. Through analyzing the effects of fading channels in forward-propagation and back-propagation during the training of L-DeepSC, we develop a channel state information (CSI) aided training processing to decrease the effects of fading channels on transmission. Meanwhile, we tailor the semantic constellation to make it implementable on capacity-limited IoT devices. Simulation demonstrates that the proposed L-DeepSC achieves competitive performance compared with traditional methods, especially in the low signal-to-noise (SNR) region. In particular, while it can reach as large as 40x compression ratio without performance degradation.

研究动机与目标

• 通过将模型训练卸载至云端/边缘，解决在资源受限的物联网设备上部署深度学习模型的挑战。
• 通过模型压缩技术，降低物联网设备与云端/边缘之间模型权重传输的带宽与延迟。
• 通过在训练过程中引入信道状态信息（CSI），提升在衰落无线信道中的传输鲁棒性。
• 设计一种轻量级的语义星座映射，使语义通信在低能力物联网设备上成为可能。
• 在不降低性能的前提下实现高倍率压缩，尤其在低信噪比（SNR）环境中表现优异。

提出的方法

• 提出一种轻量级分布式语义通信系统（L-DeepSC），其中物联网设备传输语义级表征而非原始数据，从而降低带宽消耗。
• 应用结构化权重剪枝以移除深度神经网络中的冗余连接，减少模型大小与计算负载。
• 实施低精度量化（从 32 位降至最低 4 位），进一步压缩模型权重并降低传输开销。
• 引入改进的最小二乘（LS）信道估计算法，减少导频开销，以缓解训练过程中前向与反向传播阶段的衰落信道影响。
• 将全分辨率语义星座映射至有限比特星座，降低硬件复杂度，使系统可在低端物联网设备上实现。
• 采用端到端训练与反向传播，并结合 CSI 反馈，联合优化接收机与特征提取器以提升语义保真度。

实验结果

研究问题

• RQ1 如何通过模型压缩使基于深度学习的语义通信在资源受限的物联网设备上可行？
• RQ2 无线衰落信道对分布式语义通信系统训练的影响是什么？如何缓解？
• RQ3 在保持语义性能的同时，模型剪枝与量化可被应用到何种程度以实现高倍率压缩？
• RQ4 所提出的 CSI 辅助训练过程如何提升模型在低 SNR 与衰落环境下的鲁棒性？
• RQ5 在分布式物联网环境中，压缩率、稀疏率、量化位宽与语义性能（以 BLEU 分数衡量）之间的权衡关系如何？

主要发现

• L-DeepSC 在 12 dB SNR 下实现高达 80 倍压缩率（90% 剪枝与 12 位量化），BLEU 分数保持在 0.898784。
• 在 40 倍压缩率（90% 剪枝与 16 位量化）下，系统 BLEU 分数为 0.910554，表明性能损失极小。
• 在低 SNR 环境下，系统性能显著优于传统方法，尤其在恶劣信道条件下优势明显。
• 在 60% 剪枝与 8 位量化下，模型大小从 12.3 MB 降低至 1.28 MB，运行时间从 20ms 减少至 18ms，实现物联网设备上的高效部署。
• 在多种压缩配置下，BLEU 分数保持稳定，表明高倍率压缩可实现而不损失语义保真度。
• CSI 辅助训练过程有效缓解了衰落信道对权重更新的负面影响，提升了模型收敛性与鲁棒性。