[论文解读] Coding into a source: a direct inverse Rate-Distortion theorem

Mukul Agarwal, Anant Sahai+1 more|ArXiv.org|Oct 24, 2006

Advanced Data Compression Techniques参考文献 11被引用 25

一句话总结

本文建立了香农率失真定理的直接逆定理：若一个信源可通过黑箱信道在块失真 $D$ 内传输，则在任意低于率失真函数 $R(D)$ 的速率下均可实现比特的可靠通信。关键结果表明，与期望失真不同，块失真约束可使低于 $R(D)$ 的通信速率实现可靠通信，该结果基于无记忆信源模型，并结合随机化编码与消隐时段段的码书设计。

ABSTRACT

Shannon proved that if we can transmit bits reliably at rates larger than the rate distortion function $R(D)$, then we can transmit this source to within a distortion $D$. We answer the converse question ``If we can transmit a source to within a distortion $D$, can we transmit bits reliably at rates less than the rate distortion function?'' in the affirmative. This can be viewed as a direct converse of the rate distortion theorem.

研究动机与目标

• 解决反问题：当信道被视为黑箱时，是否存在一种可靠传输比特的方法，使得信源在失真 $D$ 内被传输。
• 证明块失真约束（而非期望失真）足以实现低于 $R(D)$ 的可靠通信。
• 将结果扩展至无记忆信源，再推广至具有衰减记忆的平稳遍历信源，采用包含好时段/坏时段与消隐时段的码书构造方法。
• 建立所有具有相同 $R(D)$ 的信源之间的等价性，表明若某一信源可在失真 $D$ 内传输，则所有其他具有相同 $R(D)$ 的信源亦可实现任意小的额外失真 $\delta$ 内的传输。
• 将该框架与隐写术、无载体文本水印以及可变信道（AVC）联系起来，将攻击者建模为受失真约束的对手。

提出的方法

• 将攻击者形式化为非因果、随机化的黑箱，其将输入序列映射为输出序列，且满足块失真约束 $\Pr\left(\frac{1}{n}\sum_{t=1}^n d(x_t,y_t) > D\right) \to 0$ 当 $n \to \infty$。
• 利用类型法构造无记忆信源的码书，确保码字在信源分布下为典型序列，并可在存在失真时被正确恢复。
• 引入双阶段时间结构：$t$ 长度的好时段（用于嵌入）与 $d$ 长度的消隐时段（用于使记忆衰减），并通过伯努利($\lambda$)变量随机标记好时段。
• 通过在好时段从平稳分布中采样、在消隐时段从条件分布中采样来构造码字，确保该过程能模拟原始信源的记忆特性。
• 确保好时段的比例至少为 $1-2\lambda$（高概率成立），并针对仅针对好时段进行攻击的最坏情况攻击者行为，对译码错误进行上界估计。
• 通过使用混合条件（63）将结果推广至具有衰减记忆的平稳遍历信源，该条件确保在足够延迟 $d$ 后，过程会遗忘过去状态，从而可在好段落上使用 i.i.d. 近似进行码书构造。

实验结果

研究问题

• RQ1 能否在黑箱信道中实现低于率失真函数 $R(D)$ 的可靠比特通信，该信道可将信源在失真 $D$ 内传输？
• RQ2 为何期望失真约束无法支持可靠通信，而块失真约束却可以？
• RQ3 该结果能否从无记忆信源推广至具有衰减记忆的平稳遍历信源？
• RQ4 所有具有相同 $R(D)$ 值的信源是否等价，即若某一信源可在失真 $D$ 内传输，则其他所有信源是否亦可在 $D+\delta$ 内传输（$\delta>0$ 任意小）？
• RQ5 该框架与隐写术及无载体文本水印有何关联？

主要发现

• 对于无记忆信源，即使攻击者是非因果且随机化的，只要黑箱满足块失真约束，在任意低于 $R(D)$ 的速率 $R$ 下均可实现可靠通信。
• 块失真约束确保攻击者无法通过利用长期期望失真系统性地破坏通信，而这是在期望失真情况下无法实现的。
• 好时段（用于嵌入）的比例至少为 $1-2\lambda$（高概率成立），且平均失真最多增加 $\frac{t+d}{t} \cdot \frac{1+2\lambda}{1-2\lambda}$ 倍，该值可被任意逼近于 1。
• 对于具有衰减记忆的平稳遍历信源，结果在混合条件（63）下成立，该条件确保在延迟 $d$ 后过程会遗忘过去状态，从而可在好段落上使用 i.i.d. 码书构造方法。
• 所有具有相同 $R(D)$ 值的信源在等价意义下等价：若某一信源可在失真 $D$ 内传输，则所有其他信源亦可在 $D+\delta$ 内传输（$\delta>0$ 任意小）。
• 该框架为隐写术与无载体文本水印提供了理论基础，其中嵌入数据隐藏于信源信号的失真之中。