[论文解读] DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback

David Burth Kurka, Denız Gündüz|arXiv (Cornell University)|Nov 25, 2019

Speech and Audio Processing参考文献 51被引用 8

一句话总结

该论文提出了一种名为DeepJSCC-f的新型基于深度学习的联合源信道编码方案，用于图像传输，通过利用噪声或无噪声的信道输出反馈来提升重建质量。该方案采用具有多层传输和反馈驱动优化的自编码器结构，在低信噪比（SNR）和有限块长（finite blocklength）场景下，性能显著优于分离式方案和当前最先进的编解码器。

ABSTRACT

We consider wireless transmission of images in the presence of channel output feedback. From a Shannon theoretic perspective feedback does not improve the asymptotic end-to-end performance, and separate source coding followed by capacity-achieving channel coding, which ignores the feedback signal, achieves the optimal performance. It is well known that separation is not optimal in the practical finite blocklength regime; however, there are no known practical joint source-channel coding (JSCC) schemes that can exploit the feedback signal and surpass the performance of separation-based schemes. Inspired by the recent success of deep learning methods for JSCC, we investigate how noiseless or noisy channel output feedback can be incorporated into the transmission system to improve the reconstruction quality at the receiver. We introduce an autoencoder-based JSCC scheme, which we call DeepJSCC-f, that exploits the channel output feedback, and provides considerable improvements in terms of the end-to-end reconstruction quality for fixed-length transmission, or in terms of the average delay for variable-length transmission. To the best of our knowledge, this is the first practical JSCC scheme that can fully exploit channel output feedback, demonstrating yet another setting in which modern machine learning techniques can enable the design of new and efficient communication methods that surpass the performance of traditional structured coding-based designs.

研究动机与目标

• 设计一种实用的联合源信道编码（JSCC）方案，利用信道输出反馈，该方案在理论上对容量不敏感，但在实际中具有显著优势。
• 克服传统分离式通信系统在有限块长场景下的局限性，因为在这些场景下分离式方案并非最优。
• 开发一种基于深度学习的通信系统，利用反馈动态适应信道条件，实现平滑降级和可变速率传输。
• 证明反馈可在端到端可训练的自编码器架构中被有效利用，用于图像传输，其性能超越传统编码方案。
• 验证所提方法在不同数据集和信道条件（包括衰落信道和低SNR环境）下的泛化能力。

提出的方法

• 该方案采用基于自编码器的架构，编码器与解码器通过前序传输的反馈信号进行端到端联合训练。
• 传输过程分多层进行：第一层发送基础重建图像，后续各层利用前序接收的反馈信息对图像进行精细化处理。
• 反馈信号（无噪声或有噪声）由编码器用于自适应调整后续各层中残差信息的传输。
• 解码器使用组合网络将基础层重建结果与各精细化层结果融合，从而整体提升图像质量。
• 该模型为全卷积结构，采用无监督方式训练，无需显式减去残差——残差通过输入和先前重建结果隐式学习。
• 系统通过动态调整层数，支持可变长度传输，以适应目标质量或信道条件。

实验结果

研究问题

• RQ1 基于深度学习的JSCC方案能否在实际有限块长设置下，有效利用信道输出反馈以提升图像重建质量？
• RQ2 与分离式设计相比，反馈对端到端可训练自编码器架构的JSCC系统性能有何影响？
• RQ3 DeepJSCC-f在无需微调的情况下，对不同数据集（如CIFAR-10、ImageNet、Kodak）和图像尺寸的泛化能力如何？
• RQ4 反馈机制是否能够实现自适应可变速率传输，从而在保持目标质量的同时降低平均延迟？
• RQ5 在相同条件下，DeepJSCC-f与最先进的图像编解码器（如BPG、JPEG2000）结合先进信道编码（如LDPC、Polar）的性能相比如何？

主要发现

• 即使在低比特率传输（k/n = 1/6）和低至1 dB的SNR条件下，DeepJSCC-f在PSNR、SSIM和MS-SSIM指标上仍显著优于分离式方案。
• 该方案在不同信道条件下表现出平滑降级特性，在反馈存在噪声的环境中仍能保持感知上可接受的图像质量。
• 在Kodak数据集上，DeepJSCC-f在重建质量方面优于标准编解码器和理想容量逼近的信道编码，在低SNR场景下优势尤为明显。
• 反馈机制支持多层传输策略，逐步提升图像质量，从而降低可变长度传输的平均延迟。
• 当在ImageNet上训练后，该模型在更大、更高分辨率的图像（如768×512）上表现出良好泛化能力，显示出对多样化图像内容和尺寸的鲁棒性。
• 自编码器通过反馈隐式学习残差表示，无需显式减法操作，从而在不修改网络结构的前提下实现高效且自适应的精细化处理。