[论文解读] A Unified Multi-Task Semantic Communication System for Multimodal Data

Guangyi Zhang, Qiyu Hu+4 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用 29

一句话总结

本论文提出了 U-DeepSC，一种统一的深度学习驱动的语义通信系统，支持多任务和多模态数据（图像、文本、语音），具有动态特征传输方案和统一的码本。

ABSTRACT

Task-oriented semantic communications have achieved significant performance gains. However, the employed deep neural networks in semantic communications have to be updated when the task is changed or multiple models need to be stored for performing different tasks. To address this issue, we develop a unified deep learning-enabled semantic communication system (U-DeepSC), where a unified end-to-end framework can serve many different tasks with multiple modalities of data. As the number of required features varies from task to task, we propose a vector-wise dynamic scheme that can adjust the number of transmitted symbols for different tasks. Moreover, our dynamic scheme can also adaptively adjust the number of transmitted features under different channel conditions to optimize the transmission efficiency. Particularly, we devise a lightweight feature selection module (FSM) to evaluate the importance of feature vectors, which can hierarchically drop redundant feature vectors and significantly accelerate the inference. To reduce the transmission overhead, we then design a unified codebook for feature representation to serve multiple tasks, where only the indices of these task-specific features in the codebook are transmitted. According to the simulation results, the proposed U-DeepSC achieves comparable performance to the task-oriented semantic communication system designed for a specific task but with significant reduction in both transmission overhead and model size.

研究动机与目标

• 动机：在跨任务和数据模态中需要一个统一的语义通信框架，以降低模型规模和传输开销。
• 开发一个统一的端到端系统，能够在不进行特定任务的再培训或不使用单独模型的情况下执行多项任务。
• 引入一个动态信道编码器，根据任务需求和信道条件调整传输特征的数量。
• 设计一个轻量级的特征选择模块（FSM），裁剪冗余特征并加速推理。
• 提出统一的码本和基于 Transformer 的解码器，以支持多任务、跨模态传输并实现高效数字通信。

提出的方法

• 提出 U-DeepSC，一个由四部分组成的系统，具有面向模态的语义编码器与能处理图像、文本和语音数据的统一接收端。
• 结合任务嵌入向量和任务查询矩阵，以指示每个数据样本的目标任务。
• 实现一个具有层次化、由 FSM 驱动的特征选择的动态信道编码器，在不同信道条件下调整传输的特征数。
• 使用统一的离散码本进行跨任务的特征表示，仅传输特征索引以降低开销。
• 采用基于 Transformer 的解码器，具有掩蔽交叉注意力机制以实现并行训练，以及用于多任务学习的两阶段训练算法。

实验结果

研究问题

• RQ1 在不进行任务特异性再训练的情况下，单一模型是否能够有效地在三种模态之间执行多项任务？
• RQ2 如何在不同信道条件下动态控制传输开销，以在性能和效率之间取得平衡？
• RQ3 哪些机制能够实现跨多模态数据的高效特征选择和紧凑表示，以适应多样化任务？
• RQ4 统一的码本和解码器如何支持多任务、跨模态的语义传输？

主要发现

• U-DeepSC 在任务性能方面与任务专用语义系统相当，同时显著降低传输开销和模型规模。
• 一个轻量级的 FSM 可以动态调整传输的特征向量数量，在变化的信道条件下实现性能与速率的权衡。
• 统一的码本通过传输特征索引而不是原始特征，使离散数字化传输成为可能，从而在各任务中降低开销。
• 基于 Transformer 的统一解码器，配合掩蔽交叉注意力，使并行训练成为可能并高效支持多任务。
• 分层特征选择通过逐步裁剪冗余特征来加速推理，同时不过度牺牲准确性。