[论文解读] Large AI Model Empowered Multimodal Semantic Communications

Feibo Jiang, Li Dong+5 more|arXiv (Cornell University)|Sep 3, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种基于大型人工智能模型的多模态语义通信（LAM-MSC）框架，通过单一语义模型统一传输文本、音频、图像和视频。通过利用多模态语言模型（MLM）进行语义对齐，基于个性化大型语言模型的知识库（LKB）解决语义歧义，并采用基于条件生成对抗网络的信道估计算法（CGE）缓解快衰落影响，该框架在25 dB信噪比下实现了98.7%的传输准确率，语义保真度高，且相比传统方法数据量减少超过99%。

ABSTRACT

Multimodal signals, including text, audio, image, and video, can be integrated into Semantic Communication (SC) systems to provide an immersive experience with low latency and high quality at the semantic level. However, the multimodal SC has several challenges, including data heterogeneity, semantic ambiguity, and signal distortion during transmission. Recent advancements in large AI models, particularly in the Multimodal Language Model (MLM) and Large Language Model (LLM), offer potential solutions for addressing these issues. To this end, we propose a Large AI Model-based Multimodal SC (LAM-MSC) framework, where we first present the MLM-based Multimodal Alignment (MMA) that utilizes the MLM to enable the transformation between multimodal and unimodal data while preserving semantic consistency. Then, a personalized LLM-based Knowledge Base (LKB) is proposed, which allows users to perform personalized semantic extraction or recovery through the LLM. This effectively addresses the semantic ambiguity. Finally, we apply the Conditional Generative adversarial network-based channel Estimation (CGE) for estimating the wireless channel state information. This approach effectively mitigates the impact of fading channels in SC. Finally, we conduct simulations that demonstrate the superior performance of the LAM-MSC framework.

研究动机与目标

• 解决多模态语义通信（SC）系统中数据异构性、语义歧义性和信号衰落带来的挑战。
• 将多模态数据（文本、音频、图像、视频）统一到单一语义通信模型中，消除对多个单模态SC系统的依赖。
• 通过源自大型语言模型（LLMs）的个性化知识库，提升语义保真度，解决因用户背景差异导致的语义歧义。
• 利用条件生成对抗网络进行精确的信道状态信息（CSI）估计算法，提升在衰落无线信道上的鲁棒性。
• 通过在多样化多模态数据集上的端到端仿真，验证所提出的LAM-MSC框架的优越性。

提出的方法

• 提出一种基于多模态语言模型（MLM）的多模态对齐（MMA）机制，将多模态输入映射到统一的语义空间，同时保持语义一致性。
• 引入基于个性化大型语言模型的知识库（LKB），支持用户特定的语义提取与恢复，降低因用户背景差异带来的语义歧义。
• 采用条件生成对抗网络（CGAN）进行信道估计算法（CGE），在衰落信道中实现精确的CSI估计，提升传输可靠性。
• 采用交叉训练策略，交替冻结和微调语义模型与信道模型，确保联合优化与收敛。
• 应用BERT与余弦相似度作为语义评估指标，量化原始与恢复语义表征之间的相似性。
• 设定余弦相似度阈值为0.6以定义语义正确性，传输准确率计算为正确传输样本的比例。

实验结果

研究问题

• RQ1 如何在单一语义通信模型下高效统一多模态数据（文本、音频、图像、视频），以降低系统开销？
• RQ2 多模态语言模型（MLM）在多模态与单模态数据之间转换时，能在多大程度上保持语义一致性？
• RQ3 基于个性化大型语言模型的知识库（LKB）在缓解因用户知识背景差异导致的语义歧义方面，效果如何？
• RQ4 基于条件生成对抗网络的信道估计算法（CGE）能否有效缓解衰落信道对语义通信系统的影响？
• RQ5 在真实无线环境下，所提出的LAM-MSC框架在传输准确率与数据压缩增益方面能达到何种水平？

主要发现

• LAM-MSC框架在25 dB信噪比下实现了98.7%的传输准确率，显著优于低信噪比条件下的表现。
• 音频数据因内在复杂度较低，准确率最高；而视频数据因数据复杂度较高，准确率最低。
• 随着余弦相似度阈值的提高，传输准确率下降，0.6的阈值被用于定义语义正确性。
• 该框架将总数据量从视频的3,114,800比特减少至仅32,768比特，仅传输语义表征，实现超过99%的数据压缩。
• 交叉训练策略成功实现了语义模型与信道模型的收敛，确保了联合优化与系统性能提升。
• 采用BERT与余弦相似度可实现对原始数据与恢复数据之间语义保真度的可靠、定量评估。