[论文解读] Deep Learning-Enabled Semantic Communication Systems with Task-Unaware Transmitter and Dynamic Data

Hongwei Zhang, Shuo Shao+3 more|arXiv (Cornell University)|Apr 30, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种基于深度学习的语义通信系统，用于图像传输，其中发射端对接收端的实用任务一无所知，且观测到的数据分布与训练数据不同。通过结合接收端主导训练与域自适应技术，该系统在动态条件下仍能保持高数据恢复性能与任务执行性能，仅需极少微调即可实现接近理想的表现。

ABSTRACT

Existing deep learning-enabled semantic communication systems often rely on shared background knowledge between the transmitter and receiver that includes empirical data and their associated semantic information. In practice, the semantic information is defined by the pragmatic task of the receiver and cannot be known to the transmitter. The actual observable data at the transmitter can also have non-identical distribution with the empirical data in the shared background knowledge library. To address these practical issues, this paper proposes a new neural network-based semantic communication system for image transmission, where the task is unaware at the transmitter and the data environment is dynamic. The system consists of two main parts, namely the semantic coding (SC) network and the data adaptation (DA) network. The SC network learns how to extract and transmit the semantic information using a receiver-leading training process. By using the domain adaptation technique from transfer learning, the DA network learns how to convert the data observed into a similar form of the empirical data that the SC network can process without retraining. Numerical experiments show that the proposed method can be adaptive to observable datasets while keeping high performance in terms of both data recovery and task execution.

研究动机与目标

• 解决语义通信中发射端对任务一无所知的实际挑战，即发射端无法获知接收端的实用任务。
• 克服当观测到的数据分布与训练期间使用的经验知识库不一致时导致的性能下降问题。
• 在不重新训练语义编码网络的前提下，实现对动态数据环境的高效适应。
• 通过避免向发射端直接传输接收端任务信息，最小化通信与计算开销。
• 开发一种可扩展的语义通信框架，适用于物联网和无人机等现实场景中数据源多样的应用。

提出的方法

• 引入两阶段训练流程：准备阶段（离线）与工作阶段（在线），其中发射端在不知晓接收端任务的情况下进行训练。
• 设计一种接收端主导的训练框架，仅通过接收端侧的语义反馈联合优化编码器与解码器，同时保护任务隐私。
• 提出一种面向语义的损失函数，通过选择合适的失真度量来适应不同的实用任务。
• 基于迁移学习中的域自适应技术，实现一个数据自适应（DA）网络，将观测数据映射为与预训练语义编码网络兼容的形式。
• 仅使用少量来自观测数据分布的标注样本训练DA网络，实现快速收敛与低通信成本。
• 使用在图库数据集（如MNIST）上预训练的语义编码（SC）网络提取并传输语义特征，同时DA网络将输入数据转换为与之分布相似的形式以保证兼容性。

Figure 1: Illustration of the main parts in the proposed semantic communication system.

实验结果

研究问题

• RQ1 当发射端对接收端的实用任务一无所知时，语义通信系统如何维持高性能？
• RQ2 当观测数据分布与训练数据不一致时，基于域自适应的方法在多大程度上可减少对重新训练的需求？
• RQ3 接收端主导的训练过程能否在不向发射端泄露特定任务信息的前提下，有效训练语义编码器与解码器？
• RQ4 在低压缩率与噪声通道条件下，系统在数据恢复与任务执行两方面的表现如何？
• RQ5 在动态数据环境中，与无数据自适应的基线方案相比，所提方法的性能增益有多大？

主要发现

• 即使在压缩率为0.1、信噪比（SNR）为3 dB的条件下，该系统在仅训练80个周期后，分类准确率仍与基于微调的方案相差不超过5%。
• 数据自适应网络收敛迅速，仅需少数周期与数十个样本即可完成训练，尤其当观测数据集与图库数据集相似时（如USPS与MNIST）。
• 系统保持了较高的语义保真度：视觉结果显示，经数据自适应后，重建图像保留了物体轮廓，且分类器仍能识别，尽管存在一定程度的模糊。
• 在CIFAR-10/STL-10基准测试中，该方法在相同压缩率下相比无DA基线方案，分类准确率提高了59.3%。
• 在压缩率从0.1到0.9的全范围内，该方法与理想微调情况的性能差距极小，表明其具备极强的鲁棒性。
• 域自适应性能与数据集相似性相关：MNIST与USPS之间的PAD（成对适应距离）为0.5时性能优于MNIST与SVHN之间1.48的PAD，证实了该方法对分布偏移的适应能力。

Figure 2: Illustration of the semantic coding part in the proposed semantic communication system.