[论文解读] A simpler derivation of the coding theorem

Yuval Lomnitz, Meir Feder|arXiv (Cornell University)|May 7, 2012

Wireless Communication Security Techniques参考文献 7被引用 4

一句话总结

本文使用仅马尔可夫不等式，避免使用典型性和渐近均分性（AEP），对香农信道编码定理进行了简化推导。通过马尔可夫不等式界定成对错误概率，并应用大数定律，推导自然地引出互信息，证明低于互信息的速率是可实现的，容量通过优化输入分布得出。

ABSTRACT

A simple proof for the Shannon coding theorem, using only the Markov inequality, is presented. The technique is useful for didactic purposes, since it does not require many preliminaries and the information density and mutual information follow naturally in the proof. It may also be applicable to situations where typicality is not natural.

研究动机与目标

• 提供一种无需依赖典型性或AEP的信道编码定理的更易教学的证明。
• 证明互信息和信息密度可自然地从基本概率界中浮现。
• 提供一种适用于非记忆性或非典型性场景的证明方法，标准AEP方法在这些场景中可能不适用。
• 表明尽管马尔可夫不等式简单，但足以在接近容量时获得紧致的错误概率界。
• 通过最少的工具集，统一容量推导与信息密度的概念。

提出的方法

• 使用马尔可夫不等式，界定随机码字在最大似然译码中优于真实码字的成对错误概率。
• 对归一化的似然比 $ \frac{1}{n} \log \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ 应用大数定律，证明其收敛于 $ -I(X;Y) $。
• 推导条件错误概率界 $ P_{e|xy} \leq 2^{nR} \cdot \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $，等价于 $ 2^{nR - i} $，其中 $ i $ 为信息密度。
• 使用强大数定律，将归一化信息密度 $ i/n $ 建模为渐近正态分布，均值为 $ I $，方差为 $ V/n $，从而实现正态近似。
• 应用并集界和尾概率估计，推导总体错误概率 $ P_e \leq \epsilon + 2^{-n(I - \delta - R)} $，表明当 $ R < I $ 时错误概率趋于零。
• 通过在互信息表达式中用概率密度函数（PDF）和微分熵替代PMF，将该方法推广至连续信道。

实验结果

研究问题

• RQ1 信道编码定理是否可以在不使用典型性或渐近均分性（AEP）的前提下被证明？
• RQ2 马尔可夫不等式是否足以在接近容量时提供足够紧致的错误概率界，特别是在信道编码中？
• RQ3 在该推导中，信息密度和互信息是否能自然地从基本概率工具中浮现？
• RQ4 该方法是否可推广至典型性不自然成立的信道？
• RQ5 该基于马尔可夫的界与香农原始的信息密度论证之间有何关联？

主要发现

• 该证明表明，任意速率 $ R < I(X;Y) $ 均可实现，错误概率以 $ 2^{-n(I - R - \delta)} $ 指数衰减，证明了容量可达码的存在性。
• 互信息 $ I(X;Y) $ 自然地作为归一化似然比 $ \frac{1}{n} \log \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ 的极限浮现，无需预先定义。
• 推导出有限块长信道的正态近似，得到 $ R \approx I - \sqrt{\frac{V}{n}} Q^{-1}(\epsilon) $，其中 $ V $ 为信道分散度。
• 证明马尔可夫不等式界 $ \mathrm{Pr}\{E_m \mid \mathbf{X},\mathbf{Y}\} \leq \frac{P_Y(\mathbf{Y})}{P_{Y|X}(\mathbf{Y}|\mathbf{X})} $ 通过贝叶斯法则和概率推理，等价于香农原始界。
• 该方法避免了使用类型或大偏差等复杂工具，仅依赖马尔可夫不等式、基本概率和大数定律。
• 该方法可通过在互信息表达式中用PDF和微分熵替代PMF，推广至连续信道。