[论文解读] Empirical distribution of good channel codes with non-vanishing error probability (extended version)

Yury Polyanskiy, Sergio Verdú|arXiv (Cornell University)|Aug 31, 2013

Wireless Communication Security Techniques参考文献 24被引用 3

一句话总结

该论文表明，对于具有非消失错误概率的良好信道编码，其经验输出分布以强形式近似于容量达成输出分布。利用测度集中与等周性理论，证明了信道输出的正则函数本质上是非随机的，且与具体码本设计无关；并进一步表明，在AWGN编码中，码字的二次及更高阶矩收敛于i.i.d.高斯码字的对应矩。

ABSTRACT

This paper studies several properties of channel codes that approach the fundamental limits of a given (discrete or Gaussian) memoryless channel with a non-vanishing probability of error. The output distribution induced by an $ε$-capacity-achieving code is shown to be close in a strong sense to the capacity achieving output distribution. Relying on the concentration of measure (isoperimetry) property enjoyed by the latter, it is shown that regular (Lipschitz) functions of channel outputs can be precisely estimated and turn out to be essentially non-random and independent of the actual code. It is also shown that the output distribution of a good code and the capacity achieving one cannot be distinguished with exponential reliability. The random process produced at the output of the channel is shown to satisfy the asymptotic equipartition property. Using related methods it is shown that quadratic forms and sums of $q$-th powers when evaluated at codewords of good AWGN codes approach the values obtained from a randomly generated Gaussian codeword.

研究动机与目标

• 表征当错误概率不消失时，良好信道编码的经验输出分布。
• 将先前关于码本分布收敛结果（需错误概率趋于零）扩展至非消失错误概率情形。
• 证明信道输出的正则函数高度集中，且实际上与码设计无关。
• 建立良好编码的输出分布无法以指数可靠性与容量达成分布区分开来的结论。
• 证明在良好AWGN编码中，二次型及q阶码字幂和收敛于i.i.d.高斯码字的对应值。

提出的方法

• 利用容量达成输出分布的测度集中（等周性）性质，分析信道输出的正则（Lipschitz）函数的行为。
• 使用相对熵界量化良好编码输出分布与容量达成分布之间的距离。
• 应用高斯等周不等式，推导在容量达成测度下信道输出ℓ4和ℓ2范数的尾部界。
• 采用β-散度及其下界，比较编码输出分布与容量达成分布，利用良好编码在容量O(√n)以内的事实。
• 通过改进版本的命题11，推导码字ℓ4范数期望的下界，引入典型集偏离项。
• 利用三角不等式与Minkowski和性质，结合不同范数的集中界，导出输出分布的指数尾部界。

实验结果

研究问题

• RQ1 具有非消失错误概率的良好信道编码的输出分布与容量达成输出分布相比如何？
• RQ2 当错误概率远离零时，信道输出的正则函数能否独立于具体码本而被近似？
• RQ3 在何种程度上，良好编码的输出分布可被以指数可靠性与容量达成分布区分开来？
• RQ4 在相同速率与错误率条件下，AWGN编码中码字的二次及更高阶矩是否收敛于i.i.d.高斯码字的对应矩？
• RQ5 在达到容量O(√n)以内的码中，码字ℓ4范数与功率约束之间有何关系？

主要发现

• ϵ-容量达成编码的输出分布与容量达成输出分布之间的归一化相对熵，上界为容量与码率之差。
• 良好编码的输出分布与容量达成分布无法以指数可靠性区分，因为β-散度界以exp(−b₁δ²√n)的速率衰减。
• 在容量达成测度下，信道输出正则函数的分布紧密集中于其期望值，表明其本质上是非随机且与码设计无关。
• 对于在容量O(√n)以内的AWGN编码，输出四次幂和的期望收敛于i.i.d.高斯码字的对应值，偏差项为n^{1/4}阶。
• 输出向量的ℓ4范数在6^{1/4}√(1+P)n^{1/4}附近高度集中，尾部概率受exp(−b₁δ²√n)限制，表现出强集中性。
• 该方法无法控制O(√n)-速率码下码字ℓ4范数，因此无法界定ℓ6范数，反例已证明此局限。