[论文解读] A Theory of Semantic Communication

Yulin Shao, Qi Cao+1 more|arXiv (Cornell University)|Dec 2, 2022

Misinformation and Its Impacts被引用 12

一句话总结

本文通过将语义通信建模为联合源信道编码（JSCC）问题，并引入统一的端到端失真度量，提出了一套形式化的语义通信理论。它提出了两个核心问题——语言设计与语言利用，证明了最优语义通信可通过语义编码、语义解码或其协同实现，并对每种方法的语义失真-成本区域进行了完整刻画。

ABSTRACT

Semantic communication is an emerging research area that has gained a wide range of attention recently. Despite this growing interest, there remains a notable absence of a comprehensive and widely-accepted framework for characterizing semantic communication. This paper introduces a new conceptualization of semantic communication and formulates two fundamental problems, which we term language exploitation and language design. Our contention is that the challenge of language design can be effectively situated within the broader framework of joint source-channel coding theory, underpinned by a comprehensive end-to-end distortion metric. To tackle the language exploitation problem, we put forth three approaches: semantic encoding, semantic decoding, and a synergistic combination of both in the form of combined semantic encoding and decoding. Furthermore, we establish the semantic distortion-cost region as a critical framework for assessing the language exploitation problem. For each of the three proposed approaches, the achievable distortion-cost region is characterized. Overall, this paper aims to shed light on the intricate dynamics of semantic communication, paving the way for a deeper understanding of this evolving field.

研究动机与目标

• 建立一个全面的语义通信理论框架，以弥补缺乏统一形式化表述的不足。
• 定义并形式化两个基本问题：语言设计（如何构建最优语义语言）与语言利用（如何高效使用现有语言）。
• 通过涵盖意义保真度的综合端到端失真度量，将语义通信统一于JSCC框架之中。
• 刻画三种不同策略下可实现的语义失真-成本区域：语义编码、语义解码及其联合使用。
• 证明最优语义通信策略在概率性消息与符号映射下，能最小化原始意义与解码后意义之间的端到端失真。

提出的方法

• 提出一种语义通信模型，其中意义通过语言映射为消息，并通过语义编码器将消息编码为信道符号。
• 引入语义失真-成本度量，量化原始意义与解码后意义之间的差异，同时包含语义与传输成本。
• 将语义编码定义为：通过代价函数 $\varphi(w,s) = \frac{\psi_p(\hat{w},s)}{p(s)}$ 最小化原始意义与消息之间的期望失真。
• 将语义解码定义为：通过 $\psi_q(w',s)$ 计算 $[\hat{w}|s]$，以最小化解码后意义与原始意义之间的期望失真。
• 将语义失真-成本区域定义为在给定语言约束下所有可实现的失真与成本对的集合。
• 使用数学归纳法与反证法证明：在条件1–4下，联合语义编码与解码可实现最小失真：$d(w, [\hat{w}|[s|w]]) = \min_{w'} d(w,w')$。

实验结果

研究问题

• RQ1 如何将语义通信在类似香农信息论的统一理论框架下进行形式化建模？
• RQ2 语义通信中的基本问题是什么？它们与语言设计和语言利用有何关联？
• RQ3 能否对语义编码与解码不同策略下的语义失真-成本区域进行完整刻画？
• RQ4 在何种条件下，联合语义编码与解码策略可实现最优失真性能？
• RQ5 所提出的框架如何确保在语义模糊或消息丢失情况下，语义通信优于技术通信？

主要发现

• 三种策略——语义编码、语义解码及其联合使用——的语义失真-成本区域均已完整刻画。
• 在条件1–4下，联合语义编码与解码策略实现了最小可能的失真：对所有 $w$，有 $d(w, [\hat{w}|[s|w]]) = \min_{w'} d(w,w')$。
• 证明表明，在所提条件下，意义与消息之间的映射为一一对应，确保重建过程中无歧义。
• 最优策略实现的失真等于所有可能意义中可实现的最小失真，从而在语义意义上证明了最优性。
• 该框架表明，即使技术通信失败，语义通信仍可成功，如同义消息传输的实例所示。
• 端到端失真度量 $D_{\bm{U},\bm{V}^{*}_{q}}(L)$ 的上界为所有可能编码与解码方案中可实现的最小失真，确认了所提方法的最优性。