[论文解读] The Log-Volume of Optimal Codes for Memoryless Channels, Within A Few Nats.

Pierre Moulin|arXiv (Cornell University)|Nov 1, 2013

Wireless Communication Security Techniques被引用 17

一句话总结

本文在弱对称信道下建立了弱对称信道的对数码体积的紧致渐近界，表明最大码字数 $M_\text{avg}^*(n,\epsilon)$ 的增长速率为 $nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n$ 加上一个至多为一纳特的常数差距，对于其他对称信道则为几个纳特。分析使用了强大偏差理论和精细的中心极限渐近分析，且通过引入 $O(1/\sqrt{n})$ 修正项的随机编码方案，实现了下界。

ABSTRACT

Shannon's analysis of the fundamental capacity limits for memoryless communication channels has been refined over time. In this paper, the maximum volume $M_\avg^*(n,\epsilon)$ of length-$n$ codes subject to an average decoding error probability $\epsilon$ is shown to satisfy the following tight asymptotic lower and upper bounds as $n o \infty$: \[ \underline{A}_\epsilon + o(1) \le \log M_\avg^*(n,\epsilon) - [nC - \sqrt{nV_\epsilon} \,Q^{-1}(\epsilon) + \frac{1}{2} \log n] \le \overline{A}_\epsilon + o(1) \] where $C$ is the Shannon capacity, $V_\epsilon$ the $\epsilon$-channel dispersion, or second-order coding rate, $Q$ the tail probability of the normal distribution, and the constants $\underline{A}_\epsilon$ and $\overline{A}_\epsilon$ are explicitly identified. This expression holds under mild regularity assumptions on the channel, including nonsingularity. The gap $\overline{A}_\epsilon - \underline{A}_\epsilon$ is one nat for weakly symmetric channels in the Cover-Thomas sense, and typically a few nats for other symmetric channels, for the binary symmetric channel, and for the $Z$ channel. The derivation is based on strong large-deviations analysis and refined central limit asymptotics. A random coding scheme that achieves the lower bound is presented. The codewords are drawn from a capacity-achieving input distribution modified by an $O(1/\sqrt{n})$ correction term.

研究动机与目标

• 通过量化平均错误概率 $\epsilon$ 下最优码的第二阶编码行为，对香农容量分析进行细化。
• 建立记忆无损信道下最优码对数体积的紧致渐近上下界，包括 $O(1)$ 项中的精确常数。
• 确定上下界之间的精确差距，表明在弱对称信道下该差距至多为一纳特，在其他对称信道（如 BSC 和 Z-信道）下为几个纳特。
• 提出一种随机编码方案，通过在容量达成输入分布中加入 $O(1/\sqrt{n})$ 修正项，实现下界。

提出的方法

• 利用强大多变量大偏差分析和精细中心极限渐近分析，推导 $\log M_\text{avg}^*(n,\epsilon)$ 的紧致渐近界。
• 识别出在偏离第二阶近似 $nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n$ 时的常数 $\underline{A}_\epsilon$ 和 $\overline{A}_\epsilon$。
• 应用 $Q^{-1}(\epsilon)$ 函数以建模误差概率尾部，将边界与正态分布的分位数联系起来。
• 提出一种随机编码方案，其中码字从经过 $O(1/\sqrt{n})$ 项修正的容量达成输入分布中抽取，以实现下界。
• 在较弱的正则性条件下（包括非奇异性和其他条件）建立边界，并验证其在弱对称信道及其他对称信道下的紧致性。

实验结果

研究问题

• RQ1 在平均错误概率 $\epsilon$ 下，记忆无损信道最优码对数体积的渐近展开中，精确常数项是什么？
• RQ2 码体积的上下界有多紧？对于不同类型的信道，上下界之间的差距是多少？
• RQ3 能否通过在容量达成输入分布上施加小扰动的随机编码方案实现下界？
• RQ4 由信道发散度 $V_\epsilon$ 表征的第二阶编码行为，如何对香农容量公式进行细化？

主要发现

• 最优码的对数体积满足 $\log M_\text{avg}^*(n,\epsilon) = nC - \sqrt{nV_\epsilon} Q^{-1}(\epsilon) + \frac{1}{2} \log n + \underline{A}_\epsilon + o(1)$，其中 $\underline{A}_\epsilon$ 已被明确识别。
• 在 Cover-Thomas 意义下，弱对称信道的上下界差距恰好为一纳特。
• 对于其他对称信道（包括二元对称信道和 $Z$-信道），该差距通常为几个纳特。
• 采用容量达成输入分布并加入 $O(1/\sqrt{n})$ 修正项的随机编码方案，可实现下界。
• 分析在较弱的正则性假设下成立，包括非奇异性和其他条件，且依赖于强大多变量大偏差理论和精细中心极限渐近分析。