[论文解读] Deep Joint Source-Channel Coding for Wireless Image Transmission with Adaptive Rate Control

Mingyu Yang, Hun-Seok Kim|arXiv (Cornell University)|Oct 9, 2021

Advanced Data Compression Techniques被引用 7

一句话总结

该论文提出了一种基于单一深度神经网络（DNN）的联合源信道编码（JSCC）方案，通过使用Gumbel-Softmax技巧的可微分策略网络，根据信道信噪比（SNR）和图像内容自适应控制传输速率。该方法在多种SNR和图像复杂度条件下，性能可与固定速率模型相媲美，同时在高SNR或低复杂度场景下动态降低带宽使用量。

ABSTRACT

We present a novel adaptive deep joint source-channel coding (JSCC) scheme for wireless image transmission. The proposed scheme supports multiple rates using a single deep neural network (DNN) model and learns to dynamically control the rate based on the channel condition and image contents. Specifically, a policy network is introduced to exploit the tradeoff space between the rate and signal quality. To train the policy network, the Gumbel-Softmax trick is adopted to make the policy network differentiable and hence the whole JSCC scheme can be trained end-to-end. To the best of our knowledge, this is the first deep JSCC scheme that can automatically adjust its rate using a single network model. Experiments show that our scheme successfully learns a reasonable policy that decreases channel bandwidth utilization for high SNR scenarios or simple image contents. For an arbitrary target rate, our rate-adaptive scheme using a single model achieves similar performance compared to an optimized model specifically trained for that fixed target rate. To reproduce our results, we make the source code publicly available at https://github.com/mingyuyng/Dynamic_JSCC.

研究动机与目标

• 解决固定速率深度JSCC模型在信道条件和图像内容动态变化的无线环境中效率低下的问题。
• 实现单一DNN模型自适应支持多种传输速率，而无需为每种速率重新训练。
• 学习一种动态速率控制策略，在SNR较高或图像内容较简单时减少信道带宽使用。
• 在使用单一统一架构的前提下，保持与专用固定速率模型相当的图像质量。

提出的方法

• 策略网络使用Gumbel-Softmax技巧生成可微分的二值掩码，以选择用于传输的特征组。
• 信道编码器和解码器集成SNR自适应模块，根据信道的信噪比（SNR）调制特征。
• 传输速率以每像素的信道使用量（CPP）量化，其值范围为0.25至0.5，具体取决于激活的特征组数量。
• 模型通过端到端训练，损失函数平衡图像质量（PSNR）与速率效率（通过超参数α调节）。
• 特征组划分为选择性（G_s = 4）和非选择性（G_n = 4）类型，仅选择性组由策略网络进行掩码处理。
• 通过将选定特征的实部和虚部分开，形成复数调制符号，确保平均功率为1。

实验结果

研究问题

• RQ1 单一深度JSCC模型能否根据信道SNR和图像内容自适应调整其传输速率？
• RQ2 所提出的自适应速率控制策略在性能上与为每种速率专门训练的固定速率模型相比如何？
• RQ3 Gumbel-Softmax技巧是否能够有效支持可微分速率选择机制的端到端训练？
• RQ4 策略网络在高SNR或低复杂度图像场景下，能在多大程度上减少带宽使用？
• RQ5 自适应速率控制对不同图像类别重建图像质量的均匀性有何影响？

主要发现

• 所提方法学习到的策略在高SNR条件下降低了信道带宽利用率（更低的CPP），平均速率从0 dB时的0.5随SNR增加而降低。
• 在给定SNR和图像类别下，策略为复杂图像（如“汽车”、“卡车”）分配更高的CPP，为简单图像（如“船”、“飞机”）分配更低的CPP，从而提升质量均匀性。
• 在CIFAR-10类别上，自适应速率控制的PSNR标准差为0.613，显著低于固定速率基线（范围为0.923至1.017）。
• 在α = 1.5×10⁻³时，该方法在所有SNR水平下均优于BPG+香农容量基线，展现出鲁棒性与高效性。
• 尽管采用单一统一架构，自适应模型实现了与为每种特定速率专门训练的固定速率模型相当的PSNR性能。
• 该方法在减少多模型部署需求的同时，保持了与优化后的固定速率模型几乎相同的图像质量。