[论文解读] Counting Distinctions: On the Conceptual Foundations of Shannon's Information Theory

David Ellerman|ArXiv.org|Feb 11, 2009

Advanced Algebra and Logic参考文献 30被引用 5

一句话总结

本文提出逻辑信息论作为香农信息论的对偶基础，将信息概念化为划分中的区分（不同元素的有序对），而非平均码长。它将逻辑熵定义为划分中区分的归一化计数，表明其在概念上先于香农熵，后者则计算为实现相同区分所需的平均二元划分数量。

ABSTRACT

Categorical logic has shown that modern logic is essentially the logic of subsets (or "subobjects"). Partitions are dual to subsets so there is a dual logic of partitions where a "distinction" [an ordered pair of distinct elements (u,u') from the universe U ] is dual to an "element". An element being in a subset is analogous to a partition p on U making a distinction, i.e., if u and u' were in different blocks of p. Subset logic leads to finite probability theory by taking the (Laplacian) probability as the normalized size of each subset-event of a finite universe. The analogous step in the logic of partitions is to assign to a partition the number of distinctions made by a partition normalized by the total number of ordered pairs |UxU| from the finite universe. That yields a notion of "logical entropy" for partitions and a "logical information theory." The logical theory directly counts the (normalized) number of distinctions in a partition while Shannon's theory gives the average number of binary partitions needed to make those same distinctions. Thus the logical theory is seen as providing a conceptual underpinning for Shannon's theory based on the logical notion of "distinctions." (forthcoming in Synthese)

研究动机与目标

• 基于划分中的区分建立信息论的概念基础，作为经典概率集合论逻辑的对偶。
• 通过将信息建立在更直观的“元素间区分”概念上，解决香农信息论中的概念模糊性。
• 提出一种新的信息度量——逻辑熵，直接计数划分中归一化的区分。
• 通过基于划分的信息统一框架，阐明逻辑熵、块计数熵与香农熵之间的关系。
• 证明逻辑熵相较于香农熵提供了更基础、更原子化的信息度量，因其直接计数区分，而香农熵则源于二元划分过程。

提出的方法

• 将有限集 U 上的划分定义为一组互不相交的块，区分（dits）为来自不同块的有序对 (u, u')。
• 引入逻辑熵 h(π) = |dit(π)| / |U × U|，即划分 π 中区分的归一化计数。
• 建立子集逻辑（元素属于集合）与划分逻辑（区分属于划分）之间的对偶性，其中 'dit' 作为信息的逻辑原子。
• 从随机选取一对元素被区分的概率出发，推导出逻辑熵公式 h(p) = 1 - Σp_i²。
• 将逻辑熵与香农熵 H(π) = Σp_B log(1/p_B) 和块计数熵 H_m(π) = Π(1/p_B)^{p_B} 进行比较，揭示其相互关系。
• 利用硬币称重示例与搜索解释，说明逻辑熵衡量的是实际区分数量，而香农熵衡量的是实现区分所需的最少二元问题数量。

实验结果

研究问题

• RQ1 如何将信息论建立在划分中区分的概念之上，而非子集或事件？
• RQ2 逻辑熵（归一化区分计数）与香农熵（平均二元划分数量）在概念与数学上存在何种关系？
• RQ3 鉴于逻辑熵直接计数区分，它能否作为比香农熵更基础的信息度量？
• RQ4 在划分集合的语境下，三种熵度量——逻辑熵、块计数熵与香农熵——在数学与概念上如何关联？
• RQ5 在逻辑熵框架中，独立性与互信息的作用是什么？与香农形式相比有何异同？

主要发现

• 逻辑熵 h(π) 定义为划分 π 中区分（dits）的归一化数量，其表达式为 h(π) = 1 - Σp_i²，等于从 U×U 中随机选取一个有序对被 π 区分的概率。
• 对于四元素集合，离散划分的逻辑熵为 3/4，对应于 16 个有序对中的 12 个为不同，展示了对区分的直接计数。
• 对于块 B，逻辑熵 h(B) 与香农熵 H(B) 的关系为 h(B) = 1 - 1/2^H(B)，表明逻辑熵是香农熵的非线性变换。
• 块计数熵 H_m(π) 是块概率倒数的乘性期望，且与香农熵的关系为 H_m(π) = 2^H(π)，表明块计数熵是香农熵的指数形式。
• 本文表明，三种度量——逻辑熵、块计数熵与香农熵——是量化同一基础信息的等价方式：计数区分、计数二元划分或计数块概率。
• 本文确立了逻辑熵提供了更直观、更基础的信息度量，因其直接计数定义信息的区分，而香农熵则源于算法搜索过程。