[论文解读] A Rate-Distortion Framework for Characterizing Semantic Information

Jiakun Liu, Wenyi Zhang+1 more|arXiv (Cornell University)|May 10, 2021

Wireless Communication Security Techniques参考文献 20被引用 5

一句话总结

本文提出了一种新颖的率失真框架，联合优化语义内容（内在状态）和感知外观（外在观测）的压缩性能，将信源建模为受可观测噪声污染的未观测语义状态。核心贡献是提出了一种状态-观测率失真函数，实现了语义保真度与信号重建之间的最优权衡，针对高斯和二值状态模型推导出解析解，表明联合优化优于串行估计与压缩。

ABSTRACT

A rate-distortion problem motivated by the consideration of semantic information is formulated and solved. The starting point is to model an information source as a pair consisting of an intrinsic state which is not observable, corresponding to the semantic aspect of the source, and an extrinsic observation which is subject to lossy source coding. The proposed rate-distortion problem seeks a description of the information source, via encoding the extrinsic observation, under two distortion constraints, one for the intrinsic state and the other for the extrinsic observation. The corresponding state-observation rate-distortion function is obtained, and a few case studies of Gaussian intrinsic state estimation and binary intrinsic state classification are studied.

研究动机与目标

• 将语义信息的率失真问题形式化，通过将信源建模为未观测的内在状态与可观测的外在观测，捕捉其本质特征。
• 在未观测语义状态与观测信号上定义联合失真约束，实现语义与感知保真度的同时优化。
• 推导出状态-观测率失真函数（SORDF），作为在双重失真约束下此类信源的根本极限。
• 分析在高斯与二值内在状态等实际模型中，联合优化相较于串行或任务无关压缩的性能增益。
• 为非高斯情形（特别是条件高斯观测下的二值分类）提供可实现的编码方案与SORDF的数值边界。

提出的方法

• 将信息信源建模为一对 (S, X)，其中 S 为未观测的内在状态（语义内容），X 为可观测的外在观测（外观），具有联合分布 p(s,x)。
• 定义两种失真度量：一种用于语义保真度 dₛ(s,ŝ)，一种用于外观保真度 dₐ(x, x̂)，均在块长度上取平均。
• 推导出状态-观测率失真函数（SORDF），即在 S 与 X 上分别满足失真约束 Dₛ 与 Dₐ 所需的最小速率 R。
• 针对两种案例研究求解 SORDF：(S,X) 联合高斯分布，以及二值 S 且 X 条件高斯分布，采用变分优化与条件期望技术。
• 为二值情形提出两阶段编码方案：首先以速率 R(D,∞) 压缩 X 以估计 S，然后以速率 (1/2)log⁺(η/Dₐ) 压缩残差 X − E[X|Ŝ]，以满足外观失真 Dₐ。
• 利用最优后验分类器 g(x) = Pr(Ŝ=0|x) = 1/2 + (1/2)erf(x/(2σ)) 计算语义失真，表明局部分类 + 压缩方案次优。

实验结果

研究问题

• RQ1 能否构建一个统一的率失真框架，以联合优化信息信源中语义内容与感知外观的压缩性能？
• RQ2 当内在状态不可观测且必须推断时，语义保真度与信号重建速率之间的最优权衡行为如何？
• RQ3 对于具有未观测语义状态与可观测噪声观测的信源，其根本率失真极限是什么？
• RQ4 在二值内在状态且观测条件为高斯的情况下，估计与压缩的联合优化是否优于串行方法？
• RQ5 对于一般信源模型，特别是训练数据有限时，如何高效计算或近似 SORDF？

主要发现

• 对于联合高斯 (S,X)，SORDF 由线性估计器与高斯码书实现，最优方案为估计-压缩，如命题 2 所示。
• 对于二值 S 且条件高斯 X 的情形，最优后验分类器 g(x) = 1/2 + (1/2)erf(x/(2σ)) 最小化语义失真，且通过两阶段编码方案推导出相应的 SORDF。
• 所提编码方案满足 R(Dₛ,Dₐ) ≤ min_{D∈[Q(A/σ),Dₛ]} {R(D,∞) + (1/2)(log⁺(η/Dₐ))}，其中 η 与 γ 由最优分类器 g_D(x) 的积分定义。
• 朴素方法（即局部贝叶斯分类后压缩）仅在极端情形 Dₛ = Q(A/σ)（此时后验为确定性）时为最优，其余情况均次优。
• 数值结果表明，所提方案显著优于直接压缩 X，且接近编码器完美知晓 S 的理想情况。
• 该框架揭示语义与感知保真度无法独立优化；联合设计对率失真效率至关重要。