[论文解读] The Porosity of Additive Noise Sequences

Vinith Misra, Tsachy Weissman|arXiv (Cornell University)|May 31, 2012

Algorithms and Data Compression参考文献 3被引用 5

一句话总结

本文引入了“孔隙度”（porosity）的概念——一种用于二元加性噪声信道中具有反馈时的个体确定性噪声序列的可压缩性度量。它证明了此类信道的容量为 1 减去噪声序列的 Lempel-Ziv 可压缩性，并提出了通用编码方案，可对任意噪声序列实现该速率，从而将通用信源编码与信道编码之间的对偶性关系进一步拓展。

ABSTRACT

Consider a binary additive noise channel with noiseless feedback. When the noise is a stationary and ergodic process $\mathbf{Z}$, the capacity is $1-\mathbb{H}(\mathbf{Z})$ ($\mathbb{H}(\cdot)$ denoting the entropy rate). It is shown analogously that when the noise is a deterministic sequence $z^\infty$, the capacity under finite-state encoding and decoding is $1-\barρ(z^\infty)$, where $\barρ(\cdot)$ is Lempel and Ziv's finite-state compressibility. This quantity is termed the \emph{porosity} $\underlineσ(\cdot)$ of an individual noise sequence. A sequence of schemes are presented that universally achieve porosity for any noise sequence. These converse and achievability results may be interpreted both as a channel-coding counterpart to Ziv and Lempel's work in universal source coding, as well as an extension to the work by Lomnitz and Feder and Shayevitz and Feder on communication across modulo-additive channels. Additionally, a slightly more practical architecture is suggested that draws a connection with finite-state predictability, as introduced by Feder, Gutman, and Merhav.

研究动机与目标

• 通过将个体噪声序列视为确定性而非随机性，将通用编码理论从信源编码扩展至信道编码。
• 在有限状态编码与解码约束下，为个体噪声序列定义信道容量度量。
• 设计通用编码方案，使任何确定性噪声序列均能实现理论容量，且无需事先知晓其结构。
• 在反馈条件下建立 Lempel-Ziv 信源编码与信道编码之间的对偶性，与香农理论中的对偶性相呼应。

提出的方法

• 提出孔隙度度量 σ̲(z∞)，作为确定性噪声序列 z∞ 的 Lempel-Ziv 有限状态可压缩性的补数。
• 利用无噪反馈，实现自适应编码与解码，使其能动态响应所观测到的噪声序列。
• 设计一系列通用编码方案，使任意个体噪声序列 z∞ 均能实现孔隙度速率 1−σ̲(z∞)。
• 对编码器与解码器施加有限状态约束，以避免平凡解，确保实际可实现性。
• 通过在信源编码中的可压缩性与信道编码中的可达速率之间建立类比，利用信源与信道编码之间的对偶性。
• 提出一种实用架构，将孔隙度与 Feder、Gutman 和 Merhav 定义的有限状态可预测性联系起来，提升可实现性。

实验结果

研究问题

• RQ1 通用信源编码与通用信道编码之间的对偶性能否从概率模型扩展至个体确定性序列？
• RQ2 当噪声为固定确定性序列且存在反馈时，二元加性噪声信道的根本容量极限是什么？
• RQ3 如何设计通用编码方案，使任何个体噪声序列均能实现最优速率，且无需事先知晓其结构？
• RQ4 有限状态编码与解码在实现确定性噪声序列的非平凡通信速率方面起到何种作用？
• RQ5 Lempel-Ziv 信源编码中的可压缩性概念与反馈条件下信道编码的可达速率之间有何关联？

主要发现

• 具有确定性噪声序列 z∞ 和无噪反馈的二元加性噪声信道的容量为 1−σ̲(z∞)，其中 σ̲(z∞) 为该序列的 Lempel-Ziv 可压缩性。
• 构建了一类通用编码方案，可对任意个体噪声序列实现孔隙度速率 1−σ̲(z∞)，且无需预先知晓噪声序列。
• 对偶性结果表明，任何有限状态编码器-解码器对均无法实现高于 1−σ̲(z∞) 的速率，从而证明了该界是紧致的。
• 所提出的框架在反馈条件下建立了通用信源编码（Lempel-Ziv）与通用信道编码之间的正式对偶性，扩展了经典香农理论中的对偶性。
• 提出了一种实用编码架构，将孔隙度与有限状态可预测性联系起来，使基于反馈的可实现实现成为可能。
• 分析结果表明，反馈的使用通过使编码器与解码器能够自适应于特定噪声序列，从而实现了非平凡的通用通信。