[论文解读] Information as Distinctions: New Foundations for Information Theory

David Ellerman|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用 3

一句话总结

本文提出了一种基于划分逻辑的信息论新基础，其中信息被定义为划分中元素之间的区分。它推导出逻辑熵作为区分（dits）的归一化计数，并通过dits与bits之间的联系，展示香农熵如何自然地作为该概念的基于比特的细化，从而通过双重逻辑框架统一关键概念，如互信息和分歧。

ABSTRACT

The logical basis for information theory is the newly developed logic of partitions that is dual to the usual Boolean logic of subsets. The key concept is a "distinction" of a partition, an ordered pair of elements in distinct blocks of the partition. The logical concept of entropy based on partition logic is the normalized counting measure of the set of distinctions of a partition on a finite set--just as the usual logical notion of probability based on the Boolean logic of subsets is the normalized counting measure of the subsets (events). Thus logical entropy is a measure on the set of ordered pairs, and all the compound notions of entropy (join entropy, conditional entropy, and mutual information) arise in the usual way from the measure (e.g., the inclusion-exclusion principle)--just like the corresponding notions of probability. The usual Shannon entropy of a partition is developed by replacing the normalized count of distinctions (dits) by the average number of binary partitions (bits) necessary to make all the distinctions of the partition.

研究动机与目标

• 基于子集逻辑与划分逻辑之间的对偶性，建立信息论的新基础。
• 将信息定义为划分中的区分（dits），形式化逻辑熵作为此类区分的归一化计数。
• 展示香农熵如何通过将dits计数替换为平均比特需求而自然地从逻辑熵中产生。
• 在单一逻辑框架下统一关键信息论概念——互信息、条件熵、分歧。
• 证明标准信息论关系（例如，维恩图表示）可自然地从区分的逻辑结构中导出。

提出的方法

• 使用划分逻辑作为布尔子集逻辑的对偶，其中划分表示元素之间的区分。
• 将逻辑熵 h(p) 定义为对所有结果求和 p_i(1 - p_i)，表示随机一对元素落在不同块中的概率。
• 应用dits与bits之间的联系：逻辑熵计数区分（dits），而香农熵衡量为实现这些区分所需的平均二元划分数（bits）。
• 使用包含-排除原理和对偶性原理，推导出逻辑和香农形式下的条件熵、互信息与分歧。
• 将逻辑分歧 d(p||q) 表达为平方差之和的一半，该表达式通过dits与bits的联系映射到对称化Kullback-Leibler分歧。
• 使用概率分布和联合分布比较逻辑熵与香农熵，表明二者具有相同的结构关系。

实验结果

研究问题

• RQ1 如何从根本上重新定义信息，不再将其视为不确定性，而是作为元素之间的区分？
• RQ2 划分逻辑在为信息论提供子集逻辑对偶基础方面起到什么作用？
• RQ3 基于区分计数的逻辑熵与基于比特需求的香农熵之间有何关系？
• RQ4 能否从单一逻辑框架中统一推导出标准信息论度量，如互信息和条件熵？
• RQ5 区分的归一化计数（dits）与实现它们所需的平均比特数（bits）之间的精确数学联系是什么？

主要发现

• 逻辑熵定义为 h(p) = Σ p_i(1 - p_i)，表示随机选取的一对元素被划分所区分的概率。
• dits与bits之间的联系将逻辑熵（区分计数）映射到香农熵（平均比特数），表明香农熵是逻辑熵的基于比特的细化版本。
• 在两种框架下，互信息均满足相同的结构恒等式：m(x,y) = h(x) + h(y) - h(x,y)，与维恩图表示一致。
• 条件逻辑熵 h(x|y) 定义为 h(x,y) - h(y)，类似于 H(x|y) = H(x,y) - H(y)，保持相同的代数结构。
• 逻辑分歧 d(p||q) = ½Σ(p_i - q_i)² 通过dits与bits的联系映射到对称化Kullback-Leibler分歧 D_s(p||q) = ½[D(p||q) + D(q||p)]。
• 本文确立了所有标准信息论恒等式（例如，分歧的非负性、统计独立性条件）在逻辑与香农形式下均成立，且具有相同的结构关系。