[论文解读] Capacity Achieving Linear Codes with Random Binary Sparse Generating Matrices

A. Makhdoumi Kakhaki, Hossein Karkeh Abadi+4 more|arXiv (Cornell University)|Feb 20, 2011

Error Correcting Code Techniques参考文献 29被引用 6

一句话总结

本文通过使用基于随机游走耦合的新型译码方法，证明了在二元对称信道（BSC）和二元删除信道（BEC）上，利用随机二元稀疏生成矩阵可构造出容量可达的线性码，表明随着码长增加，误码概率趋于零。研究证明，当码长足够大时，任意随机选取的稀疏生成矩阵以高概率实现容量，填补了稀疏线性码领域中长期存在的关键空白。

ABSTRACT

In this paper, we prove the existence of capacity achieving linear codes with random binary sparse generating matrices. The results on the existence of capacity achieving linear codes in the literature are limited to the random binary codes with equal probability generating matrix elements and sparse parity-check matrices. Moreover, the codes with sparse generating matrices reported in the literature are not proved to be capacity achieving. As opposed to the existing results in the literature, which are based on optimal maximum a posteriori decoders, the proposed approach is based on a different decoder and consequently is suboptimal. We also demonstrate an interesting trade-off between the sparsity of the generating matrix and the error exponent (a constant which determines how exponentially fast the probability of error decays as block length tends to infinity). An interesting observation is that for small block sizes, less sparse generating matrices have better performances while for large blok sizes, the performance of the random generating matrices become independent of the sparsity. Moreover, we prove the existence of capacity achieving linear codes with a given (arbitrarily low) density of ones on rows of the generating matrix. In addition to proving the existence of capacity achieving sparse codes, an important conclusion of our paper is that for a sufficiently large code length, no search is necessary in practice to find a deterministic matrix by proving that any arbitrarily selected sequence of sparse generating matrices is capacity achieving with high probability. The focus in this paper is on the binary symmetric and binary erasure channels.her discrete memory-less symmetric channels.

研究动机与目标

• 通过证明稀疏生成矩阵可实现容量可达的线性码，填补文献中的关键空白，此前该结论尚未被严格确立。
• 证明即使译码器次优（相较于最优MAP译码），随机稀疏生成矩阵仍可实现容量。
• 建立生成矩阵稀疏度与误码指数之间的权衡关系，表明稀疏度在小码长与大码长下对性能的影响不同。
• 证明当码长远大于某一阈值时，无需进行码搜索——任意随机选取的稀疏生成矩阵均以高概率实现容量。
• 将结果推广至生成矩阵中每行1的密度为给定（可任意小）的码，证明此类容量可达码的存在性。

提出的方法

• 提出一种基于在超立方体上耦合两个随机游走的新型译码方法：一个从原点出发，另一个从均匀平稳分布出发。
• 定义两个游走的相遇时间 τ，并以 τ ≤ k 为条件，计算返回原点的概率。
• 利用耦合理论证明：当 n → ∞ 时，P(τ > ζn) → 0，从而表明返回原点的概率收敛于 (1/2)^n。
• 推导给定生成矩阵下正确检测概率的下界，并对所有 i.i.d. 服从伯努利(ρ)分布的矩阵取期望。
• 将分析扩展至具有固定行稀疏度 ρ 的矩阵，证明即使行稀疏度较低，仍存在容量可达码。
• 使用概率方法证明：当 n 足够大时，任意随机选取的稀疏生成矩阵均以高概率实现容量，从而无需进行码搜索。

实验结果

研究问题

• RQ1 能否使用随机二元稀疏生成矩阵而非稀疏校验矩阵，构造出容量可达的线性码？
• RQ2 基于随机游走耦合的次优译码器是否仍能使线性码实现容量可达性能？
• RQ3 此类码中，生成矩阵稀疏度与误码指数之间存在何种权衡关系？
• RQ4 在何种码长范围内，稀疏度显著影响性能——小码长还是大码长？
• RQ5 能否证明对于生成矩阵中给定（可任意小）的行密度，容量可达码的存在性？

主要发现

• 对于 i.i.d. 服从伯努利(ρ)分布的随机线性码生成矩阵，当码长 n → ∞ 时，误码概率趋于零，从而证明了容量可达码的存在性。
• 在大码长下，随机稀疏生成矩阵的性能与稀疏度无关，无需进行码搜索。
• 误码指数随码长呈指数衰减，衰减速率取决于稀疏度 ρ，稀疏度与误码指数之间存在非单调权衡关系。
• 在小码长下，稀疏度较低的矩阵（ρ 较高）性能更优；而在大 n 时，稀疏度对性能影响可忽略。
• 对于任意固定的行密度 ρ > 0（即使接近零），均证明了容量可达线性码的存在性。
• 耦合理论表明：经过 k 步后返回原点的概率在 n → ∞ 时收敛于 (1/2)^n，这意味着期望误码概率趋于零。