[论文解读] Generalized information-entropy measures and Fisher information

Marco Masi|arXiv (Cornell University)|Nov 11, 2006

Statistical Mechanics and Entropy参考文献 20被引用 13

一句话总结

本文建立了一套统一框架，将广义熵度量——Rényi、Tsallis、Sharma-Mittal 以及超广延熵——通过 q-变形对数-指数形式与费舍尔信息联系起来。结果表明，费舍尔信息矩阵自然地成为所有此类熵在统计流形上的度量张量，其度量与系统是否具有广延性或非广延性无关，仅取决于多重性在参数变化下的变化速率。

ABSTRACT

We show how Fisher's information already known particular character as the fundamental information geometric object which plays the role of a metric tensor for a statistical differential manifold, can be derived in a relatively easy manner through the direct application of a generalized logarithm and exponential formalism to generalized information-entropy measures. We shall first shortly describe how the generalization of information-entropy measures naturally comes into being if this formalism is employed and recall how the relation between all the information measures is best understood when described in terms of a particular logarithmic Kolmogorov-Nagumo average. Subsequently, extending Kullback-Leibler's relative entropy to all these measures defined on a manifold of parametrized probability density functions, we obtain the metric which turns out to be the Fisher information matrix elements times a real multiplicative deformation parameter. The metrics independence from the non-extensive character of the system, and its proportionality to the rate of change of the multiplicity under a variation of the statistical probability parameter space, emerges naturally in the frame of this representation.

研究动机与目标

• 阐明费舍尔信息在信息几何中对广义熵度量的几何作用。
• 基于广义对数与指数函数，将 Rényi、Tsallis、Sharma-Mittal 和超广延熵统一于同一形式体系下。
• 表明费舍尔信息可通过广义 Kullback-Leibler 相对熵自然地作为所有此类熵度量的度量张量。
• 证明费舍尔度量独立于系统的广延性或非广延性特征，仅取决于变形参数 q。
• 将费舍尔信息解释为与统计参数变化下多重性（微观态数量）变化速率成正比。

提出的方法

• 采用 Kolmogorov-Nagumo (KN) 平均形式，结合广义对数与指数函数，定义熵度量的层级结构。
• 通过 q-变形对数与指数函数，将 Kullback-Leibler 相对熵推广至广义熵。
• 推导费舍尔信息矩阵为广义相对熵在分布相等（θ = φ）时的黑塞矩阵。
• 将多重性 Ω 作为熵的代理变量，表明在参数变化下 Ω 的二阶导数可导出费舍尔度量，仅含一个与 q 相关的因子。
• 应用变形指数形式，将 Sharma-Mittal 和超广延熵表达为多重性函数，并以 r 和 q 参数化。
• 证明度量的对称性与对系统广延性的独立性由归一化约束所保证。

实验结果

研究问题

• RQ1 费舍尔信息如何在玻尔兹曼-吉布斯情形之外，作为广义熵度量的度量张量出现？
• RQ2 q-变形对数与指数形式在统一 Rényi、Tsallis、Sharma-Mittal 和超广延熵中的作用是什么？
• RQ3 为何费舍尔信息矩阵独立于系统是否为广延、非广延或超广延？
• RQ4 费舍尔度量与参数变化下多重性（微观态数量）变化速率有何关联？
• RQ5 广义 Kullback-Leibler 相对熵能否在不同熵族中一致地导出相同的度量张量？

主要发现

• 费舍尔信息矩阵作为广义相对熵在 θ = φ 处的黑塞矩阵被恢复，确认其作为所有广义熵度量的自然度量张量角色。
• 对于 Tsallis、Rényi 和 Sharma-Mittal 熵，度量张量与标准费舍尔信息矩阵成正比，比例因子为 −q。
• 由相同形式体系导出的超广延熵度量也产生相同的费舍尔度量，证实了该度量在熵层级中的普遍性。
• 在参数变化下，多重性 Ω 的二阶导数可导出费舍尔度量，比例因子为 −q，表明费舍尔信息量化了多重性对参数变化的敏感度。
• 度量的对称性与对系统广延性的独立性由归一化条件保证，确保了所有熵类型间的一致性。
• 利用 q-变形对数-指数形式可显著简化费舍尔信息的推导，使其成为统一信息几何分析的有力工具。