[论文解读] Jar Decoding: Non-Asymptotic Converse Coding Theorems, Taylor-Type Expansion, and Optimality

En‐hui Yang, Jin Meng|arXiv (Cornell University)|Apr 16, 2012

DNA and Biological Computing参考文献 3被引用 11

一句话总结

该论文通过使用jar技术的外部镜像方法推导出新的非渐近 converse 定理，证明了jar解码在有限块长信道编码中为二阶最优。它表明最优编码速率 $ R_n(\theta) $ 可以表示为关于 $ \delta_{t,n}(\epsilon) $ 的泰勒型展开，其中前两项与达到容量的互信息减去校正项一致，并证明了NEP近似公式在估计 $ R_n(\epsilon) $ 时最为精确，优于正态近似和SO近似。

ABSTRACT

Recently, a new decoding rule called jar decoding was proposed; under jar decoding, a non-asymptotic achievable tradeoff between the coding rate and word error probability was also established for any discrete input memoryless channel with discrete or continuous output (DIMC). Along the path of non-asymptotic analysis, in this paper, it is further shown that jar decoding is actually optimal up to the second order coding performance by establishing new non-asymptotic converse coding theorems, and determining the Taylor expansion of the (best) coding rate $R_n (ε)$ of finite block length for any block length $n$ and word error probability $ε$ up to the second order. Finally, based on the Taylor-type expansion and the new converses, two approximation formulas for $R_n (ε)$ (dubbed "SO" and "NEP") are provided; they are further evaluated and compared against some of the best bounds known so far, as well as the normal approximation of $R_n (ε)$ revisited recently in the literature. It turns out that while the normal approximation is all over the map, i.e. sometime below achievable bounds and sometime above converse bounds, the SO approximation is much more reliable as it is always below converses; in the meantime, the NEP approximation is the best among the three and always provides an accurate estimation for $R_n (ε)$. An important implication arising from the Taylor-type expansion of $R_n (ε)$ is that in the practical non-asymptotic regime, the optimal marginal codeword symbol distribution is not necessarily a capacity achieving distribution.

研究动机与目标

• 为任意信道编码方案（特别是有限块长）建立非渐近 converse 编码定理。
• 确定在有限 $ n $ 和误码概率 $ \epsilon $ 下，最优可达编码速率 $ R_n(\epsilon) $ 的二阶性能上限。
• 通过证明其性能匹配二阶渐近极限，展示jar解码的最优性。
• 开发 $ R_n(\epsilon) $ 的准确近似公式（包括SO和NEP），并基于已知界限评估其可靠性。
• 揭示在非渐近区域，码字符号的最优输入分布不一定是达到容量的分布。

提出的方法

• 提出一种新的 converse 证明技术——'jar的外部镜像'，以推导任意编码与解码方案的非渐近 converse。
• 定义关键量 $ \delta_{t,n}(\epsilon) $，用于衡量给定输入分布 $ t $ 下，误码概率 $ \epsilon $ 与块长 $ n $ 的相对大小。
• 在 $ \delta_{t,n}(\epsilon) $ 周围建立最优编码速率 $ R_n(\epsilon) $ 的泰勒型展开，前两项为 $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $。
• 证明当 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ 时，第三阶项为 $ O(\delta_{t^*,n}^2(\epsilon)) $，从而确认jar解码的二阶最优性。
• 基于泰勒展开和非渐近 converse 提出两种近似公式：'SO' 和 'NEP'。
• 将 SO 和 NEP 近似与已知界限及正态近似进行对比评估，证明 NEP 具有更高的精度。

实验结果

研究问题

• RQ1 在有限块长下，jar解码是否在二阶编码性能上达到最优？
• RQ2 能否推导出适用于任意编码与解码方案（而不仅限于特定方案）的非渐近 converse 定理？
• RQ3 最优编码速率 $ R_n(\epsilon) $ 是否可表示为关于 $ \delta_{t,n}(\epsilon) $ 的泰勒型展开？其主导项为何？
• RQ4 SO 和 NEP 近似公式在估计 $ R_n(\epsilon) $ 时，与现有界限及正态近似相比表现如何？
• RQ5 在有限块长编码且误码概率为 $ \epsilon $ 的情况下，最优输入分布是否必然是达到容量的分布？

主要发现

• 通过新的非渐近 converse 定理，证实了jar解码实现了最优的二阶编码性能。
• 最优编码速率 $ R_n(\epsilon) $ 在 $ \delta_{t,n}(\epsilon) $ 上具有泰勒型展开，前两项为 $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $，且在 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ 条件下，第三阶项为 $ O(\delta_{t^*,n}^2(\epsilon)) $。
• 对 $ R_n(\epsilon) $ 的 NEP 近似公式在三种测试方法（NEP、SO、正态近似）中最为精确，始终提供可靠的估计。
• SO 近似具有可靠性，且始终位于 converse 界之下，表明其不会高估可实现速率。
• 正态近似表现不一致，有时低于可实现界限，有时高于 converse 界，因此在有限块长下不可靠。
• 在非渐近区域，使 $ I(t;P) - \delta_{t,n}(\epsilon) $ 最大的最优输入分布 $ t^* $ 通常并非达到容量的分布，尤其在非对称信道中更为明显。