[论文解读] Differential entropy and dynamics of uncertainty

Piotr Garbaczewski|arXiv (Cornell University)|Aug 31, 2004

Advanced Thermodynamics and Statistical Mechanics被引用 2

一句话总结

本文将微分熵——特别是香农熵与Kullback-Leibler熵——扩展至时间依赖的连续概率分布，包括来自L²(Rⁿ)量子波包的分布。与冯·诺伊曼熵不同，微分熵能够量化概率（去）局域化的时变特性，并通过Fisher信息泛函揭示耗散系统与量子系统中非平凡的功率传输动力学。

ABSTRACT

We analyze the functioning of Gibbs-type entropy functionals in the time domain, with emphasis on Shannon and Kullback-Leibler entropies of time-dependent continuous probability distributions. The Shannon entropy validity is extended to probability distributions inferred from L2(Rn) quantum wave packets. In contrast to the von Neumann entropy which simply vanishes on pure states, the differential entropy quantifies the degree of probability (de)localization and its time development. The associated dynamics of the Fisher information functional quantifies nontrivial power transfer processes in the mean, both in dissipative and quantum mechanical cases.

研究动机与目标

• 将香农熵与Kullback-Leibler熵的适用范围从经典系统扩展至时变连续概率分布。
• 研究微分熵如何随时间捕捉量子波包中（去）局域化的程度。
• 通过展示微分熵对空间展宽动力学的敏感性，与冯·诺伊曼熵在纯态下消失的特性形成对比，阐明微分熵对空间展宽动力学的敏感性。
• 分析Fisher信息泛函在量化量子与耗散系统中平均功率传输中的作用。

提出的方法

• 分析源自L²(Rⁿ)量子波包的时间依赖概率分布，以计算微分熵。
• 将香农熵应用于随时间演化的连续概率密度，将其有效性扩展至非平衡或稳态情形。
• 利用时间演化分布之间的Kullback-Leibler散度评估不确定性与信息含量的变化。
• 引入Fisher信息泛函作为时域中局部信息流与功率传输的度量。
• 比较量子与耗散系统中微分熵与Fisher信息的动力学，以识别普遍特征。
• 采用泛函分析与信息论工具，推导熵与Fisher信息的时间依赖演化方程。

实验结果

研究问题

• RQ1 源自量子波包的连续概率分布中，微分熵如何随时间演化？
• RQ2 微分熵在纯量子态中为何能提供比冯·诺伊曼熵更丰富的不确定性度量？
• RQ3 Fisher信息泛函如何捕捉时变系统中的非平凡功率传输？
• RQ4 熵动力学与量子与耗散系统中概率（去）局域化之间存在何种关系？
• RQ5 时间演化分布的Kullback-Leibler散度是否能揭示超越标准熵度量的系统演化有意义信息？

主要发现

• 微分熵成功量化了L²(Rⁿ)波包中概率（去）局域化的时变特性，提供了不确定性的动态度量。
• 香农熵与Kullback-Leibler熵对时间依赖的连续分布依然有效且具有信息量，将其适用范围扩展至静态或离散情形之外。
• 与在纯态下消失的冯·诺伊曼熵不同，微分熵对空间展宽与局域化动力学保持敏感。
• Fisher信息泛函捕捉了平均意义上的非平凡功率传输过程，揭示了量子与耗散系统中类似能量的动力学。
• 熵与Fisher信息的时变演化揭示了信息论度量与物理功率传输机制之间的一致关联。
• 不确定性动力学由熵与Fisher信息的相互作用所主导，暗示信息与能量流在时变系统中存在更深层次的联系。