[论文解读] Generalized symmetric mutual information applied for the channel capacity

Takuya Yamano|arXiv (Cornell University)|Feb 19, 2001

Advanced Wireless Communication Techniques参考文献 1被引用 3

一句话总结

本文提出了一种基于非加性熵（Tsallis型）的对称广义互信息度量，用于重新定义二元对称信道（BSC）的信道容量。通过确保输入与输出之间的对称性，推导出广义容量 $ C_q $，其在 $ q < 1 $ 时可超过香农容量，但在 $ q > 1 $ 时可能变为负值，突显了非广延信息理论中对称性与非负性之间的根本矛盾。

ABSTRACT

The channel capacity for the binary symmetric channel is investigated based on the symmetrized definition of the mutual information, which is arising from an attempt of extension of information content based on the nonadditivity. The negative capacity can emerge as an avoidable consequence for the generalization of the concept of the information entropy when $q &gt;1$.

研究动机与目标

• 解决非广延信息理论中广义互信息定义的不对称性问题。
• 研究对称互信息是否在 $ e = 1/2 $ 时仍保持零容量条件，如同香农理论中的情况。
• 利用新的对称互信息定义，推导并分析二元对称信道的广义信道容量 $ C_q $。
• 检验非广延信息框架中负信道容量的有效性与可解释性。

提出的方法

• 引入基于归一化修正Tsallis熵的对称广义互信息 $ I_q(X;Y) = H_q(X) + H_q(Y) - H_q(X,Y) $。
• 通过关系式 $ H_q(X,Y) = H_q(Y) + H_q(X|Y) + (q-1)H_q(Y)H_q(X|Y) $ 定义非加性联合熵 $ H_q(X,Y) $，以确保与非加性结构的一致性。
• 将广义互信息应用于二元对称信道（BSC），其中输入概率为 $ p_0, p_1 $，误码概率为 $ e $，显式计算联合概率 $ p_{xy} $。
• 推导广义容量 $ C_q = \max_{p(x)} I_q(X;Y) $，表明在某些 $ q $ 和 $ e $ 下，最大值出现在 $ p_0 = p_1 = 1/2 $。
• 使用 $ f(p_0,e) = [(1-2e)p_0 + e]^q + [(2e-1)p_0 + 1 - e]^q $ 的闭式表达式表示 $ I_q(X;Y) $，实现对 $ C_q $ 的解析评估。
• 对 $ C_q $ 进行解析与数值评估，与香农容量进行比较，并分析其在 $ q $ 和 $ e $ 变化下的行为。

实验结果

研究问题

• RQ1 能否在非广延信息理论中一致地构建广义互信息的对称定义，而不违反零容量在 $ e = 1/2 $ 时为零等关键性质？
• RQ2 在对称互信息下，广义信道容量 $ C_q $ 在二元对称信道中的行为如何，特别是当 $ q \neq 1 $ 时？
• RQ3 广义容量 $ C_q $ 是否在某些 $ q < 1 $ 时超过香农容量，且在何种噪声条件下？
• RQ4 为何广义容量在 $ q > 1 $ 时变为负值，这对非广延信息度量的物理可解释性意味着什么？
• RQ5 在广义信息理论中，互信息的对称性与信道容量的非负性之间是否存在根本性权衡？

主要发现

• 当 $ q < 1 $ 时，广义信道容量 $ C_q $ 在中等噪声水平下超过香农容量，表明在噪声环境中可能存在优势。
• 当 $ q > 1 $ 时，广义容量可能变为负值，这与容量作为信息传输非负度量的物理直觉相矛盾。
• 在某些 $ q $ 和 $ e $ 的范围内，最大容量在均匀输入分布 $ p_0 = p_1 = 1/2 $ 时达到，保持了对称性。
• 推导出的 $ C_q = \frac{1}{q-1}\left(2^q - 1 - \frac{2^{q-1}}{e^q + (1-e)^q}\right) $ 表达式为新对称定义下的BSC容量提供了闭式解析解。
• 当 $ q \neq 1 $ 时，容量在 $ e = 1/2 $ 处不为零，违反了最大噪声下容量应为零的标准要求，除非 $ q = 1 $。
• 存在根本性权衡：强制互信息对称性会导致 $ q > 1 $ 时容量为负，而若要保持 $ e = 1/2 $ 时容量为零，则必须牺牲对称性。