[论文解读] Fixed Error Asymptotics For Erasure and List Decoding

Vincent Y. F. Tan, Pierre Moulin|arXiv (Cornell University)|Feb 20, 2014

Wireless Communication Security Techniques参考文献 36被引用 5

一句话总结

本论文推导了离散无记忆信道中删除译码和列表译码的二阶渐近性能，表明删除译码的二阶容量为 $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$，其中 $V$ 为信道分散度，$\epsilon_{\mathrm{t}}$ 为固定的总误码概率。对于列表大小为 $\exp(\sqrt{n}l)$ 的列表译码，二阶容量为 $l + \sqrt{V}\Phi^{-1}(\epsilon)$，并给出了多项式列表大小下的三阶项界。

ABSTRACT

We derive the optimum second-order coding rates, known as second-order capacities, for erasure and list decoding. For erasure decoding for discrete memoryless channels, we show that second-order capacity is $\sqrt{V}Φ^{-1}(ε_t)$ where $V$ is the channel dispersion and $ε_t$ is the total error probability, i.e., the sum of the erasure and undetected errors. We show numerically that the expected rate at finite blocklength for erasures decoding can exceed the finite blocklength channel coding rate. We also show that the analogous result also holds for lossless source coding with decoder side information, i.e., Slepian-Wolf coding. For list decoding, we consider list codes of deterministic size that scales as $\exp(\sqrt{n}l)$ and show that the second-order capacity is $l+\sqrt{V}Φ^{-1}(ε)$ where $ε$ is the permissible error probability. We also consider lists of polynomial size $n^α$ and derive bounds on the third-order coding rate in terms of the order of the polynomial $α$. These bounds are tight for symmetric and singular channels. The direct parts of the coding theorems leverage on the simple threshold decoder and converses are proved using variants of the hypothesis testing converse.

研究动机与目标

• 在固定且不趋于零的误码概率下，建立删除译码与列表译码的二阶渐近极限。
• 确定删除译码的二阶容量，表明其仅依赖于总误码概率 $\epsilon_{\mathrm{t}}$，而不依赖于未检测到的误码概率。
• 将分析扩展至非恒定列表大小的列表译码，包括指数增长和多项式增长速率的情形。
• 推导有限块长性能界，并表明带删除的期望速率可超过标准信道编码速率。
• 将结果推广至具有译码器侧信息的Slepian-Wolf源编码问题。

提出的方法

• 利用阈值译码器和假设检验反证法推导删除译码的二阶容量。
• 应用Berry-Esseen定理近似经验条件熵的分布，并界定向误码概率。
• 在Slepian-Wolf场景中，使用类型类枚举和分组论证来界定向未检测到的误码概率。
• 引入基于经验条件熵 $\hat{H}(\mathbf{x}|\mathbf{y})$ 的阈值删除规则，以控制总误码概率。
• 分析列表大小为 $\exp(\sqrt{n}l)$ 和 $n^\alpha$ 的列表译码，通过信息谱方法推导二阶与三阶渐近性能。
• 采用马尔可夫不等式和集中度不等式控制误码概率，并证明可实现性。

实验结果

研究问题

• RQ1 当总误码概率 $\epsilon_{\mathrm{t}}$ 固定时，删除译码的二阶容量是多少？
• RQ2 在有限块长删除译码中，期望速率是否可超过标准信道编码速率？
• RQ3 当列表大小为 $\exp(\sqrt{n}l)$ 时，列表译码的二阶容量是多少？
• RQ4 对于多项式大小的列表 $n^\alpha$，三阶编码速率如何表现？
• RQ5 删除译码与列表译码的二阶与三阶渐近性能是否可推广至具有侧信息的Slepian-Wolf源编码问题？

主要发现

• 删除译码的二阶容量为 $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$，与未检测到的误码概率无关，其中 $V$ 为信道分散度，$\epsilon_{\mathrm{t}}$ 为总误码概率。
• 有限块长删除译码可实现高于无删除标准信道编码的期望速率，这是由于误码概率降低和可靠性提高所致。
• 对于列表大小为 $\exp(\sqrt{n}l)$ 的列表译码，二阶容量为 $l + \sqrt{V}\Phi^{-1}(\epsilon)$，其中 $\epsilon$ 为真实消息不在列表中的概率。
• 对于多项式大小的列表 $n^\alpha$，三阶编码速率有界，且在对称信道和奇异信道（如二元删除信道）下该界是紧的。
• 结果可推广至具有侧信息的Slepian-Wolf源编码问题，此时二阶容量为 $\sqrt{V(X|Y)}\Phi^{-1}(1 - \epsilon_{\mathrm{t}})$，其中 $\epsilon_{\mathrm{t}}$ 为固定的总误码概率。
• 反证证明依赖于假设检验反证法的变体，可实现性通过阈值译码和基于类型分析的分组方法证明。