[论文解读] Additive Entropies of Partitions

Adam Paszkiewicz, Tomasz Sobieszek|arXiv (Cornell University)|Feb 21, 2012

Statistical Mechanics and Entropy参考文献 15被引用 3

一句话总结

本文通过证明任意此类熵泛函在有限划分上连续时，可唯一分解为香农型熵项与测度论校正项之和，刻画了非原子概率空间上的加法划分熵。关键结果建立了包含一个绝对连续集函数与一个类似方差项的典范表示，将经典熵公理由概率序列推广至基于划分的信息度量。

ABSTRACT

We provide, under minimal continuity assumptions, a description of extsl{additive partition entropies}. They are real functions $I$ on the set of finite partitions that are additive on stochastically independent partitions in a given probability space.

研究动机与目标

• 刻画在有限划分上满足可加性（对独立划分）且具有连续性与结构假设的加法划分熵——实值函数在有限划分上的函数，其在独立划分上可加。
• 将经典熵公理（如香农的）从概率序列扩展至概率空间框架下的基于划分的信息度量。
• 确定在划分测度的 L2 范数下一致连续的加法划分熵的精确函数形式。
• 提供此类熵的完整分解，包括一个基础熵项与一个涉及关于概率测度绝对连续的符号测度的校正项。
• 建立一个典范表示，将已知熵（如香农、哈特利、Rényi）统一于更广泛的加法划分熵类中。

提出的方法

• 将加法划分熵定义为在非原子概率空间 (Ω, Σ, P) 的有限划分上的实值函数 I，满足对独立划分 𝒜 与 𝒟 有 I(𝒜 ⊗ 𝒟) = I(𝒜) + I(𝒟)。
• 引入配备 L2 范数 ρ₂ 的有限划分空间 𝔸₂，并假设 I 关于此范数具有一致连续性。
• 利用非原子概率空间的 Darboux 性质，构造原子测度可任意小的逼近划分序列。
• 将熵泛函 I 表示为两部分之和：Lₘ(𝒜) = ∫ H(𝒜) d𝑚，其中 𝑚 是关于 P 绝对连续的可数可加符号测度，以及 βV(𝒜)，其中 V 为类似方差的泛函。
• 在归一化条件 𝑚(Ω) = 0 下，证明分解的唯一性，确保表示无冗余。
• 利用已知结果：仅依赖于原子测度的加法熵（如香农与均匀熵的线性组合）可导出一般形式。

实验结果

研究问题

• RQ1 在划分测度的 L2 范数下，连续的加法划分熵的完整刻画是什么？
• RQ2 加法划分熵如何分解为一个基础熵项与一个涉及符号测度的校正项？
• RQ3 哪些经典熵（如香农、哈特利、Rényi）可作为该广义加法划分熵类的特例出现？
• RQ4 非原子概率空间中的 Darboux 性质在构造连续加法熵中起什么作用？
• RQ5 在何种条件下，加法划分熵分解为 Lₘ 与 βV 的形式是唯一的？

主要发现

• 任何在有限划分空间上连续（具体而言，关于 ρ₂ 一致连续）的加法划分熵 I，均可唯一分解为 I = Lₘ + βV，其中 Lₘ 是熵函数 H(𝒜) 关于关于 P 绝对连续的可数可加符号测度 𝑚 的积分。
• 在条件 𝑚(Ω) = 0 下，该分解唯一，确保表示无冗余。
• 泛函 V(𝒜) = ∫[H(𝒜) − ∫H(𝒜) dP]² dP 为类似方差的项，用于捕捉熵与期望熵的偏离，而 βV(𝒜) 则表示与原子测度无关的熵部分。
• 当 I 仅依赖于原子测度时，其必为 αLₚ + βV 的线性组合，其中 Lₚ 为香农熵，V 为方差项。
• 该结果将经典熵的公理化刻画（如 Fadeev 或 Shannon 的）推广至概率空间中基于划分的设定，扩展至更广泛的泛函类。
• 本文确立了在连续性与可加性约束下，加法划分熵类由对 (𝑚, β) 完全刻画，其中 𝑚 ∈ 𝒮(P) 且 β ∈ ℝ。