[论文解读] A Theory for Semantic Channel Coding With Many-to-one Source

Shuai Ma, Zhang, Chuanhui+5 more|arXiv (Cornell University)|Mar 9, 2023

Wireless Signal Modulation Classification被引用 7

一句话总结

本文提出了一种基于知识库中语义解释不确定性的广义语义熵定义，并为多对一源场景建立了语义信道编码定理。通过广义Fano不等式证明了可实现性和对偶性，表明即使在非零比特误码率下也能实现准确的语义传输，该结论通过使用PSK调制的MNIST分类实验得到验证。

ABSTRACT

As one of the potential key technologies of 6G, semantic communication is still in its infancy and there are many open problems, such as semantic entropy definition and semantic channel coding theory. To address these challenges, we investigate semantic information measures and semantic channel coding theorem. Specifically, we propose a semantic entropy definition as the uncertainty in the semantic interpretation of random variable symbols in the context of knowledge bases, which can be transformed into existing semantic entropy definitions under given conditions. Moreover, different from traditional communications, semantic communications can achieve accurate transmission of semantic information under a non-zero bit error rate. Based on this property, we derive a semantic channel coding theorem for a typical semantic communication with many-to-one source (i.e., multiple source sequences express the same meaning), and prove its achievability and converse based on a generalized Fano's inequality. Finally, numerical results verify the effectiveness of the proposed semantic entropy and semantic channel coding theorem.

研究动机与目标

• 为解决语义通信中缺乏统一的语义熵定义的问题。
• 为语义信道编码建立理论基础，特别是针对多对一源模型。
• 在非零比特误码率条件下，证明语义信道编码的可实现性和对偶性。
• 通过图像分类任务的数值实验验证所提出的语义熵和编码定理。

提出的方法

• 将语义熵定义为在知识库条件下，对随机变量符号语义解释的不确定性。
• 推导广义Fano不等式，以证明语义信道编码定理的对偶性和可实现性。
• 设计一种基于深度学习的语义通信系统，包含编码器、数字调制和解码器网络，用于图像分类任务。
• 采用M-PSK调制将语义特征映射为离散符号，以在噪声信道中传输。
• 在无噪声和有噪声条件下端到端训练系统，以评估推理准确率并验证语义熵。
• 使用MNIST数据集进行N类分类，以测试调制阶数M、信噪比SNR与分类准确率之间的关系。

实验结果

研究问题

• RQ1 如何在一般且上下文相关的意义上定义语义熵，以整合知识库？
• RQ2 语义通信是否能在非零比特误码率下实现准确的语义传输，与经典信息论相反？
• RQ3 多对一源模型的语义信道容量理论极限是什么？
• RQ4 所提出的语义熵与现有定义及香农熵有何关系？
• RQ5 所提出的语义信道编码定理能否通过基于深度学习的语义通信系统进行经验验证？

主要发现

• 当调制阶数M小于图像类别数N时，推理准确率随M增加而提高，证实语义熵为log₂N比特。
• 当M ≥ N时，推理准确率稳定在95%并保持不变，验证了M ≥ N可完全表示源语义熵。
• 在高信噪比下，当M达到N时准确率显著提升，但M进一步增大时准确率不再提高，证实语义熵的极限。
• 即使传输速率R超过香农信道容量C，对于N=10和SNR=9的情况，分类准确率仍保持在75%以上，表明语义通信对比特错误具有鲁棒性。
• 当R > C时，系统仍能实现高推理准确率，表明语义通信在语义可靠性方面可优于经典通信。
• 所提出的语义熵定义广义化了现有定义，并在特定条件下退化为香农熵。