[论文解读] Asymptotics of Input-Constrained Erasure Channel Capacity

Yonglong Li, Guangyue Han|arXiv (Cornell University)|May 7, 2016

Cellular Automata and Applications参考文献 47被引用 4

一句话总结

本文研究了输入受限擦除信道的渐近容量，推导出具有有限类型约束的一般无记忆擦除信道的部分渐近结果，以及在(1,∞)-RLL约束下具有第一阶马尔可夫输入的二元擦除信道的完整渐近结果。研究结果表明，即使在无记忆擦除信道中存在输入约束，反馈也能提升容量，挑战了传统观点中认为此类场景下反馈无益的信念。

ABSTRACT

In this paper, we examine an input-constrained erasure channel and we characterize the asymptotics of its capacity when the erasure rate is low. More specifically, for a general memoryless erasure channel with its input supported on an irreducible finite-type constraint, we derive partial asymptotics of its capacity, using some series expansion type formulas of its mutual information rate; and for a binary erasure channel with its first-order Markovian input supported on the $(1, \infty)$-RLL constraint, based on the concavity of its mutual information rate with respect to some parameterization of the input, we numerically evaluate its first-order Markov capacity and further derive its full asymptotics. The asymptotics obtained in this paper, when compared with the recently derived feedback capacity for a binary erasure channel with the same input constraint, enable us to draw the conclusion that feedback may increase the capacity of an input-constrained channel, even if the channel is memoryless.

研究动机与目标

• 表征当擦除率ε较小时，输入受限擦除信道容量的渐近行为。
• 通过互信息速率的级数展开，推导出具有不可约有限类型约束的一般无记忆擦除信道的容量部分渐近结果。
• 通过基于凹性的数值计算方法，求解(1,∞)-RLL约束下二元擦除信道的第一阶马尔可夫容量及完整渐近结果。
• 在相同输入约束下，比较反馈与非反馈容量，评估反馈是否带来增益。
• 挑战传统观点，即在具有输入约束的无记忆信道中，反馈无法提升容量。

提出的方法

• 利用互信息速率的级数展开公式，推导一般输入受限无记忆擦除信道容量的部分渐近结果。
• 利用互信息速率关于输入参数化的凹性，通过数值方法评估(1,∞)-RLL约束下二元擦除信道的第一阶马尔可夫容量。
• 应用变分方法和熵链式法则，对反馈容量进行上界估计，表明其上界为(1−ε)log K（对于无约束输入）。
• 利用信道输出Yn = XnEn，其中Ei为独立同分布的伯努利(1−ε)分布，来建模擦除现象，并推导信息论界。
• 利用有限类型约束及其拓扑序结构，分析输入支持与容量极限。
• 通过熵分解推导容量界，将输出分布中的擦除与非擦除贡献分离。

实验结果

研究问题

• RQ1 当ε→0时，输入受限于不可约有限类型约束的无记忆擦除信道的渐近容量是多少？
• RQ2 能否为具有(1,∞)-RLL输入约束的二元擦除信道推导出容量的完整渐近展开式？
• RQ3 尽管信道是无记忆的，反馈是否仍能提升输入受限无记忆擦除信道的容量？
• RQ4 在(1,∞)-RLL约束下，二元擦除信道的第一阶马尔可夫输入参数化下，互信息速率的行为如何？
• RQ5 在相同输入约束下，反馈容量与非反馈容量之间存在何种关系？

主要发现

• 对于一般输入受限无记忆擦除信道，通过互信息速率的级数展开，推导出容量的部分渐近结果。
• 对于具有(1,∞)-RLL约束和第一阶马尔可夫输入的二元擦除信道，第一阶马尔可夫容量通过数值方法求得，且利用互信息速率的凹性推导出完整渐近结果。
• 证明了无约束二元擦除信道的反馈容量上界为(1−ε)log K，与无反馈情况下的容量一致。
• 尽管信道是无记忆的，当施加输入约束时，反馈仍能提升容量，显示出非平凡的容量增益。
• 在(1,∞)-RLL约束的二元擦除信道中，反馈下的渐近容量超过无反馈情况，与普遍认为反馈在无记忆信道中无益的直觉相矛盾。
• 结果证实，输入约束可使反馈在无记忆擦除信道中变得有益，凸显了记忆、约束与反馈之间微妙的相互作用。