[论文解读] Deep Joint Source-Channel Coding for Semantic Communications

Jialong Xu, Tze-Yang Tung+4 more|arXiv (Cornell University)|Nov 16, 2022

Wireless Signal Modulation Classification被引用 4

一句话总结

本文提出深度联合源-信道编码（DeepJSCC），一种基于深度学习的框架，可直接将源信号映射为信道符号，实现语义通信，绕过传统的分离式源编码与信道编码。通过端到端训练神经网络编码器与解码器，该方法在低延迟、低功耗场景下性能优于传统方案，显著降低计算复杂度，并具备天然的并行性。

ABSTRACT

Semantic communications is considered as a promising technology to increase the efficiency of next-generation communication systems, particularly targeting human-machine and machine-type communications. In contrast to the source-agnostic approach of conventional wireless communication systems, semantic communication seeks to ensure that only the relevant information for the underlying task is communicated to the receiver. Considering that most semantic communication applications have strict latency, bandwidth, and power constraints, a prominent approach is to model them as a joint source-channel coding (JSCC) problem. Although JSCC has been a long-standing open problem in communication and coding theory, remarkable performance gains have been shown recently over existing separate source and channel coding systems, particularly in low-latency and low-power scenarios. Recent progress is thanks to the adoption of deep learning techniques for joint source-channel code design that outperform the concatenation of state-of-the-art compression and channel coding schemes, which are results of decades-long research efforts. In this article, we present an adaptive deep learning based JSCC (DeepJSCC) architecture for semantic communications, introduce its design principles, highlight its benefits, and outline future research challenges that lie ahead.

研究动机与目标

• 解决下一代无线应用中常见的低延迟、低功耗和高复杂度场景下传统分离式通信系统的局限性。
• 通过利用深度神经网络从数据中直接学习最优信号映射，克服联合源-信道编码（JSCC）的实际挑战。
• 通过聚焦于任务相关的信息而非完整信号重建，实现高效的语义通信，降低带宽与能耗。
• 开发一种可扩展、自适应且计算高效的框架，超越数十年来沿用的级联源编码与信道编码方案。
• 为通用、多模态DeepJSCC架构铺平道路，适用于多样化的通信环境与应用场景。

提出的方法

• 设计基于深度神经网络的编码器，将原始源信号（如图像、传感器数据）直接映射为信道输入符号，学习最优联合表示以实现可靠传输。
• 实现相应的解码器网络，从含噪信道输出中重建源信号，通过端到端训练最小化工频畸变，以应对信道损伤。
• 使用可微分损失函数联合训练整个系统，结合重建误差与信道感知正则化，实现源编码与信道编码的联合优化。
• 采用多智能体强化学习视角，将发射端视为控制器，信道状态作为环境的一部分，实现基于任务上下文的自适应码字生成。
• 利用深度神经网络固有的并行性，相比传统系统中使用的迭代解码方案，显著降低计算复杂度。
• 将框架与实际调制格式（如OFDM）集成，未来扩展中解决峰均功率比（PAPR）等挑战。

实验结果

研究问题

• RQ1 深度学习能否有效用于设计联合源-信道编码，使其在有限块长条件下优于传统分离编码？
• RQ2 与传统的级联编码相比，神经网络的端到端训练在低延迟、低功耗语义通信系统中如何提升性能？
• RQ3 DeepJSCC在无需重新训练的情况下，对变化的源信号与信道统计特性具有多大程度的适应能力？
• RQ4 在扩展至复杂现实通信环境（如光通信、水下通信或卫星通信）时，DeepJSCC面临的关键架构与训练挑战是什么？
• RQ5 如何将DeepJSCC扩展至多用户场景，其中香农分离定理不再适用？

主要发现

• 在相同延迟、带宽与功耗约束下，DeepJSCC在重建质量方面优于最先进的分离式源编码与信道编码方案。
• 所提出的框架仅需数小时训练即可达到高性能，相比之下，传统压缩与编码标准历经数十年研究才达成。
• 即使使用浅层深度神经网络，也能实现具有竞争力的端到端性能，相比采用迭代解码的标准视频/图像压缩，计算复杂度显著降低。
• 所学习的码字表现出结构自适应性——相似的源输入被映射为相似的信道信号，从而增强对信道变化的鲁棒性。
• DeepJSCC具有天然的并行性，适用于自动驾驶、工业机器人等对延迟敏感的实时应用场景。
• 该框架在多种信道（如光通信、可见光通信、水下通信）及多用户场景中展现出强大潜力，尤其在缺乏精确信道模型的环境中。