[论文解读] Source Coding with a Side Information "Vending Machine"

Tsachy Weissman, Haim H. Permuter|ArXiv.org|Apr 15, 2009

Wireless Communication Security Techniques参考文献 12被引用 7

一句话总结

本文研究了通过动作主动控制的源编码中的侧信息，建模了系统资源影响侧信息质量的情景。针对编码器动作和解码器动作两种情形，刻画了率失真-成本权衡关系，表明贪婪动作选择次优，且在成本约束下，最优方案的时间共享亦不足。

ABSTRACT

We study source coding in the presence of side information, when the system can take actions that affect the availability, quality, or nature of the side information. We begin by extending the Wyner-Ziv problem of source coding with decoder side information to the case where the decoder is allowed to choose actions affecting the side information. We then consider the setting where actions are taken by the encoder, based on its observation of the source. Actions may have costs that are commensurate with the quality of the side information they yield, and an overall per-symbol cost constraint may be imposed. We characterize the achievable tradeoffs between rate, distortion, and cost in some of these problem settings. Among our findings is the fact that even in the absence of a cost constraint, greedily choosing the action associated with the `best' side information is, in general, sub-optimal. A few examples are worked out.

研究动机与目标

• 建模并分析动作影响侧信息可用性、质量或性质的源编码系统。
• 刻画编码器或解码器采取动作时，率、失真与动作成本之间的基本权衡关系。
• 研究在成本约束下，贪婪动作选择（每步选择最佳侧信息）是否最优。
• 为一般情况和特殊情况（包括高斯模型和马尔可夫模型）提供可实现的率和对偶界。
• 识别开放问题，特别是编码器动作情形的完整刻画，以及因果动作依赖对侧信息的影响。

提出的方法

• 将系统建模为无记忆源 $X^n \sim P_X$，侧信息 $Y^n$ 通过依赖于源序列和动作序列的信道 $P_{Y|X,A}$ 生成。
• 引入动作成本 $\Lambda(A)$，并施加每符号成本约束 $\mathbb{E}[\Lambda(A)] \leq C$。
• 对于解码器动作（图1），利用马尔可夫链 $X - A - Y$ 和互信息表达式，推导出可实现的率失真-成本区域。
• 对于编码器动作（图2），通过辅助随机变量 $U$ 或 $\hat{X}$ 提出可实现率，具体取决于编码器是否拥有侧信息。
• 推导出一般对偶下界：$R \geq I(X;\hat{X}) - I(Y;X,A)$，该界对编码器动作和解码器动作情形均成立。
• 为三种特殊情况提供紧致界：（近似）无失真压缩、高斯模型（$Y = A + X + N$）以及马尔可夫模型 $Y - A - X$。

实验结果

研究问题

• RQ1 当解码器选择影响侧信息质量的动作时，率、失真与动作成本之间的最优权衡是什么？
• RQ2 在无成本约束下，贪婪动作选择（选择能产生最佳侧信息的动作）是否最优？
• RQ3 当动作由编码器而非解码器执行时，可实现率区域如何变化？
• RQ4 在不同成本水平下优化的方案之间进行时间共享，能否实现最优率失真-成本权衡？
• RQ5 当动作依赖于先前生成的侧信息符号时，其基本极限是什么？

主要发现

• 即使在无成本约束下，贪婪动作选择（选择能产生最高质量侧信息的动作）也是次优的。
• 在施加每符号成本约束时，对不同成本水平下优化的方案进行时间共享是次优的。
• 对偶下界 $R \geq I(X;\hat{X}) - I(Y;X,A)$ 在无失真压缩、高斯模型和马尔可夫模型 $Y - A - X$ 的特殊情形下是紧致的。
• 当编码器拥有侧信息时，编码器动作情形的可实现率为 $I(\hat{X};X|A,Y) + I(X;A) - I(Y;A)$，在适当的马尔可夫和矩约束下成立。
• 当编码器无侧信息时，编码器动作情形的可实现率为 $I(U;X|A,Y) + I(X;A) - I(Y;A)$，其中 $U$ 为辅助变量。
• 一般对偶界 $I(X;\hat{X}) - I(Y;X,A)$ 并非总是紧致，如标准 Wyner-Ziv 设置中的反例所示，该界会低估真实最小率。