[论文解读] A new communication paradigm: from bit accuracy to semantic fidelity

Guangming Shi, Dahua Gao+6 more|arXiv (Cornell University)|Jan 29, 2021

Wireless Signal Modulation Classification参考文献 11被引用 47

一句话总结

本文提出一个基于语义保真度的通信框架（CTSf），其传输的是语义符号而非确切的比特级信息，在保持语义完整性的同时实现大幅带宽节省。它引入语义转换、语义层级确认和语义逆处理，并以音频传输的案例研究为例。

ABSTRACT

Wireless communication has achieved great success in the past several decades. The challenge is of improving bandwidth with limited spectrum and power consumption, which however has gradually become a bottleneck with evolution going on. The intrinsic problem is that communication is modeled as a message transportation from sender to receiver and pursues for an exact message replication in Shannon's information theory, which certainly leads to large bandwidth and power requirements with data explosion. However, the goal for communication among intelligent agents, entities with intelligence including humans, is to understand the meaning or semantics underlying data, not an accurate recovery of the transmitted messages. The separate first transmission and then understanding is a waste on bandwidth. In this article, we deploy semantics to solve the spectrum and power bottleneck and propose a first understanding and then transmission framework with high semantic fidelity. We first give a brief introduction of semantics covering the definition and properties to show the insights and scope of this paper. Then the proposed communication towards semantic fidelity framework is introduced, which takes the above mentioned properties into account to further improve efficiency. Specially, a semantic transformation is introduced to transform the input into semantic symbols. Different from the conventional transformations in signal processing area, for example discrete cosine transform, the transformation is with data loss, which is also the reason that the proposed framework can achieve large bandwidth saving with high semantic fidelity. Besides, we also discuss semantic noise and performance measurement. To evaluate the effectiveness, a case study of audio transmission is carried out. Finally, we discuss the typical applications and open challenges.

研究动机与目标

• 推动从比特级保真度向语义保真度在无线通信中的转变。
• 在通信语境中定义语义，并建立一个语义传输框架（CTSF）。
• 提出将信号转换为语义符号的语义转换，以及通过语义库实现的抽象机制。
• 引入语义层级确认以调和发送方/接收方对语义的认知差异并确保可理解性。
• 通过音频传输的案例研究展示该方法在带宽节省和语义保真度方面的收益。

提出的方法

• 将语义和语义符号定义为通过多对一映射映射的数据子集，以在丢失数据的同时实现高语义保真度。
• 引入由语义表示（SR）和语义符号抽象（SSA）组成的语义转换管线，并在分层语义库（SL）中组织语义。
• 提出语义层级确认，以适应发送方/接收方SL的差异，利用反馈选择合适的抽象级别。
• 描述语义逆处理，包括语义符号识别（SSR）和语义符号逆表示（SSIR），以恢复信号或生成语义等效内容。
• 讨论语义噪声源（转换、信道、SL不匹配、歧义），并将语义符号误差率定义为保真度指标。
• 给出一个音频传输的案例研究，将传统的 CCS 与比特保真相比对 CTSF，使用基于 ASR 的 SR 和基于 ZIP 的语义编码。

实验结果

研究问题

• RQ1 在无线通信中，语义符号和语义转换如何在保持语义保真度的同时降低带宽？
• RQ2 需要哪些机制（语义库、层级确认）来使发送方和接收方对语义的理解保持一致？
• RQ3 如何对语义噪声进行建模和测量，以及语义保真度如何与传统信号保真度进行比较？
• RQ4 在实际案例（如音频传输）中，语义转换中的数据丢失与实现的语义保真度之间存在哪些权衡？

主要发现

• CTSf 在案例研究（音频传输）中显著降低所需带宽，同时保持高语义保真度。
• 语义保真度通过语义符号准确性来衡量，而不是传统的比特错误率，从而在数据速率降低的情况下实现有意义的比较。
• 一个包含 SR 和 SSA 的语义转换管线，结合分层语义库，能够实现高效抽象和跨模态重建。
• 语义层级确认以及 SSR/SSIR 使在 SL 不匹配和信道噪声存在时仍能实现鲁棒传输。
• 在追求高语义保真度的前提下，与 WAV/AAC 基线相比，该方法展示了显著的带宽节省（例如在示例中高达两个数量级）。