[论文解读] Capacity of General Discrete Noiseless Channels

Georg Böcherer, Valdemar C. da Rocha+1 more|arXiv (Cornell University)|Feb 18, 2008

Cellular Automata and Applications参考文献 4被引用 6

一句话总结

本文证明，对于具有非整数符号权重的一般离散无噪通道（DNC），其容量可由其生成函数的收敛半径、最右侧实奇点或最小正极点确定。本文将普林施海姆定理和指数增长公式推广至非整数权重，提供了一套统一的解析框架，用于计算容量，而无需依赖有限状态机表示。

ABSTRACT

This paper concerns the capacity of the discrete noiseless channel introduced by Shannon. A sufficient condition is given for the capacity to be well-defined. For a general discrete noiseless channel allowing non-integer valued symbol weights, it is shown that the capacity--if well-defined--can be determined from the radius of convergence of its generating function, from the smallest positive pole of its generating function, or from the rightmost real singularity of its complex generating function. A generalisation is given for Pringsheim's Theorem and for the Exponential Growth Formula to generating functions of combinatorial structures with non-integer valued symbol weights.

研究动机与目标

• 定义并确保具有非整数符号权重的一般离散无噪通道容量的良定性。
• 将经典结果（如普林施海姆定理和指数增长公式）推广至具有非整数权重的生成函数。
• 提供一种基于生成函数奇点的解析方法来计算容量，避免依赖有限状态机模型。
• 证明容量等价于有效字符串的指数增长速率，其度量方式为按权重计算字符串数量的对数增长。

提出的方法

• 本文将离散无噪通道（DNC）定义为满足连接下可加性的权重函数的有效字符串集合。
• 引入生成函数 $ G_{\mathcal{A}}(y) = \sum_{s \in A} y^{w(s)} $，其中系数 $ N[w_k] $ 表示权重为 $ w_k $ 的字符串数量。
• 容量定义为 $ C = \limsup_{k \to \infty} \frac{\ln N[w_k]}{w_k} $，本文建立了该极限良定义的条件。
• 其关键方法创新在于将容量与复生成函数 $ F_{\mathcal{A}}(e^{-s}) $ 的收敛半径或最右侧实奇点联系起来。
• 对于有理生成函数，证明容量等于 $ -\ln P $，其中 $ P $ 是 $ G_{\mathcal{A}}(y) $ 的最小正极点。
• 该方法运用复分析与渐近计数技术，将整数权重情形下的结果推广至非整数权重。

实验结果

研究问题

• RQ1 在何种条件下，具有非整数符号权重的离散无噪通道的容量是良定义的？
• RQ2 如何在不依赖有限状态机表示的前提下计算一般DNC的容量？
• RQ3 普林施海姆定理和指数增长公式能否推广至具有非整数符号权重的生成函数？
• RQ4 生成函数的收敛半径与信道容量之间存在何种关系？
• RQ5 在有理函数情形下，生成函数的最小正极点是否足以确定容量？

主要发现

• 具有良定义容量的DNC的容量等于单位权重下有效字符串数量的指数增长速率，这由定义3中的上极限形式化表达。
• 容量由生成函数 $ G_{\mathcal{A}}(y) $ 的收敛半径决定，或等价地由复生成函数 $ F_{\mathcal{A}}(e^{-s}) $ 的最右侧实奇点决定。
• 对于有理生成函数，容量由 $ C = -\ln P $ 给出，其中 $ P $ 是 $ G_{\mathcal{A}}(y) $ 的最小正极点。
• 在不含'111'的二进制字符串示例中，生成函数得出最小正极点 $ P = 0.54369 $，从而得到容量 $ C = -\ln P = 0.60938 $ 每单位权重的纳特。
• 该方法将经典结果（如普林施海姆定理和指数增长公式）推广至非整数符号权重，扩大了其适用范围。
• 生成函数方法不仅提供容量，还提供有效字符串 $ N[w_k] $ 的精确计数，相较于有限状态模型提供了更多信息。