[论文解读] Deep Joint Source-Channel Coding for Adaptive Image Transmission over MIMO Channels

Haotian Wu, Yulin Shao+3 more|arXiv (Cornell University)|Sep 1, 2023

Advanced MIMO Systems OptimizationEngineering被引用 3

一句话总结

本文提出了一种基于视觉Transformer的深度联合源信道编码方案DeepJSCC-MIMO，用于在MIMO信道上自适应传输图像。通过利用自注意力机制，该方法在不重新训练的情况下，联合优化了多根天线之间的特征映射与功率分配，在不同信噪比（SNR）、天线数量和信道条件下均实现了优异的失真与感知质量。

ABSTRACT

This paper introduces a vision transformer (ViT)-based deep joint source and channel coding (DeepJSCC) scheme for wireless image transmission over multiple-input multiple-output (MIMO) channels, denoted as DeepJSCC-MIMO. We consider DeepJSCC-MIMO for adaptive image transmission in both open-loop and closed-loop MIMO systems. The novel DeepJSCC-MIMO architecture surpasses the classical separation-based benchmarks with robustness to channel estimation errors and showcases remarkable flexibility in adapting to diverse channel conditions and antenna numbers without requiring retraining. Specifically, by harnessing the self-attention mechanism of ViT, DeepJSCC-MIMO intelligently learns feature mapping and power allocation strategies tailored to the unique characteristics of the source image and prevailing channel conditions. Extensive numerical experiments validate the significant improvements in transmission quality achieved by DeepJSCC-MIMO for both open-loop and closed-loop MIMO systems across a wide range of scenarios. Moreover, DeepJSCC-MIMO exhibits robustness to varying channel conditions, channel estimation errors, and different antenna numbers, making it an appealing solution for emerging semantic communication systems.

研究动机与目标

• 解决经典分离式源编码与信道编码在有限块长条件下无线图像传输中的局限性。
• 克服MIMO系统中缺乏实用的联合源信道编码解决方案的问题，尤其是在不同信道条件下具备自适应与鲁棒性能的场景。
• 设计一种统一的深度学习框架，将语义特征学习与MIMO传输优化相结合，无需针对不同天线数量或信道状态重新训练。
• 通过自注意力机制实现端到端的功率分配与特征表示学习，使其能够根据信道质量与图像内容自适应调整。

提出的方法

• 提出一种基于视觉Transformer（ViT）的架构，联合建模源图像语义与MIMO信道状态信息（CSI）。
• 将信道状态信息（CSI）热图作为输入嵌入，引导注意力机制学习空间自适应的特征表示。
• 采用自注意力机制，根据实时信道质量与图像内容，动态分配多根天线之间的传输功率。
• 通过学习具有泛化能力的映射关系，支持开环与闭环MIMO系统，适用于不同信噪比范围与天线配置。
• 采用统一的编码器-解码器结构，通过输入的填充或截断实现对不同天线数量的信道符号生成，从而实现对未见过的MIMO配置的零样本适应。
• 使用可微分的失真度量进行端到端训练，实现源编码与信道编码目标的联合优化，无需显式比特表示。

Figure 1: Block diagram of the MIMO image transmission system: (a) conventional separate source-channel coding scheme and (b) DeepJSCC scheme, where the gray blocks with dashed lines are the additional operations for the closed-loop MIMO system.

实验结果

研究问题

• RQ1 基于视觉Transformer的深度联合源信道编码框架是否能有效处理MIMO信道上的图像传输，并自适应不同信道条件？
• RQ2 ViT架构中的自注意力机制如何在MIMO系统中实现多天线间智能的功率分配与特征映射？
• RQ3 单一DeepJSCC-MIMO模型在无需重新训练的情况下，对不同发射与接收天线数量的泛化能力达到何种程度？
• RQ4 在实际MIMO环境中，该方案对信道估计误差和不同信噪比（SNR）的鲁棒性如何？
• RQ5 与经典分离式编码方法及现有DeepJSCC基准相比，该模型在MIMO环境下是否能实现更优的感知质量与失真性能？

主要发现

• DeepJSCC-MIMO在开环与闭环MIMO系统中，均显著提升了广泛信噪比（SNR）与带宽场景下的失真质量与感知质量。
• 该模型对信道估计误差表现出强鲁棒性，在CSI不完美条件下仍能保持高性能。
• 在不同天线配置（M=2, 3, 4）下，DeepJSCC-MIMO均保持优异性能，采用自适应-M训练策略时最大性能损失仅为0.6 dB。
• 模型能够学习在低SNR环境下将功率集中于高质量子信道，并在SNR升高时实现更均衡的功率分配，表明其对信道质量具有智能适应能力。
• 通过大规模预训练数据集（ImageNet）实现对未见数据集（如Kodak、CelebA）的泛化，展现出跨图像分布的迁移能力。
• 注意力机制有效学习了与信道相关的功率分配模式，热图可视化显示高功率分配区域与低噪声子信道高度对齐。

Figure 2: The pipeline of the DeepJSCC-MIMO scheme, where the source image $\bm{S}$ is encoded by a ViT-encoder and reconstructed by a ViT-decoder as $\bm{\hat{S}}$ . Precoding operation in dashed line will be performed if the CSI is available at the transmitter, and the CSI ( $\bm{H},\sigma_{w}^{2}