[论文解读] Information Theory: A Tutorial Introduction

James V. Stone|arXiv (Cornell University)|Feb 16, 2018

Cognitive Science and Education Research被引用 6

一句话总结

本教程通过直观的解释介绍了香农信息论，强调信息是一种基于概率和熵的可度量量。它展示了比特如何量化不确定性，推导出熵和互信息等关键概念，并通过对数和概率框架，将通信系统与自然过程中的概念统一起来，确立信道容量为在噪声环境下可靠通信的理论极限。

ABSTRACT

Shannon's mathematical theory of communication defines fundamental limits on how much information can be transmitted between the different components of any man-made or biological system. This paper is an informal but rigorous introduction to the main ideas implicit in Shannon's theory. An annotated reading list is provided for further reading.

研究动机与目标

• 为非专业人士和研究人员提供一个清晰、直观且数学上严谨的信息论入门。
• 阐明比特（信息单位）与二进制数位（二进制计数系统中的数位）之间的概念性区别。
• 确立熵作为概率分布中平均意外程度的基础性作用。
• 推导并解释通过噪声信道通信的理论极限，特别是信道容量。
• 通过类比和应用，将信息论与更广泛的系统（包括生物和物理过程）联系起来。

提出的方法

• 使用在道路分叉口选择路线的隐喻，说明比特如何量化等概率选择之间的差异。
• 将香农信息（或意外度）定义为 $ -\log_2 p(x) $，根据结果的概率来度量其信息含量。
• 引入熵 $ H(x) $ 作为意外度的期望值，$ H(x) = \sum p(x) \cdot \log_2(1/p(x)) $，表示平均不确定性。
• 应用对数关系 $ \log_2 m = n $，表明 $ n $ 个比特可区分 $ m = 2^n $ 个等概率结果。
• 通过联合概率和边缘概率推导互信息 $ I(x;y) $，表示在已知一个变量的情况下，对另一变量不确定性的减少量。
• 将信道容量 $ C $ 确立为所有输入分布中互信息的最大值，对于高斯信道有闭式解：$ C = \frac{1}{2} \log_2(1 + S/N) $。

实验结果

研究问题

• RQ1 如何在通信系统中将信息定义并度量为一种类似物理量的定量概念？
• RQ2 不确定性（熵）与系统中可区分结果数量之间有何关系？
• RQ3 通信信道中的噪声如何限制信息可靠传输的最大速率？
• RQ4 编码方式和信噪比在逼近信道容量理论极限中起什么作用？
• RQ5 互信息如何量化通信或生物系统中两个随机变量之间的依赖性？

主要发现

• 信息是一种可度量的量，1 比特表示在两个等可能选择之间进行区分所需的信息量。
• 熵 $ H(x) $ 衡量了随机变量结果的平均不确定性，当所有结果等概率时达到最大值。
• 指定 $ m $ 个等概率结果中的一个所需的比特数为 $ \log_2 m $，表明信息随选择集合大小呈对数增长。
• 信道容量是可靠数据传输速率的理论上限，由使互信息最大化的输入分布决定。
• 对于信号噪声比为 $ S/N $ 的高斯信道，信道容量为 $ C = \frac{1}{2} \log_2(1 + S/N) $ 比特/符号，该结果由高斯输入与噪声的互信息推导得出。
• 互信息 $ I(x;y) $ 衡量了在已知 $ y $ 的情况下对 $ x $ 不确定性的减少量，且具有对称性：$ I(x;y) = I(y;x) $，构成信息论推断与通信的核心。