[论文解读] A note on Onicescu's informational energy and correlation coefficient in exponential families

Frank Nielsen|arXiv (Cornell University)|Jan 1, 2020

Statistical Mechanics and Entropy参考文献 24被引用 2

一句话总结

本文利用自然参数化与矩 generating 函数，在指数族中推导出 Onicescu 信息能量及其相关系数的闭式表达式。研究提供了泊松分布、正态分布（单变量与多变量）及帕累托分布等关键分布的显式公式，实现了对诸如柯西-施瓦茨散度等统计分歧度量的高效计算与理论分析。

ABSTRACT

The informational energy of Onicescu is a positive quantity that measures the amount of uncertainty of a random variable. But contrary to Shannon's entropy, the informational energy increases when randomness decreases. We report closed-form formula for Onicescu's informational energy and its associated correlation coefficient when the probability distributions belong to an exponential family. We show how to instantiate the generic formula for several common exponential families.

研究动机与目标

• 推导出指数族中 Onicescu 信息能量及其相关系数的闭式表达式。
• 统一常见参数族中统计分歧度量（如柯西-施瓦茨散度）的计算方法。
• 通过在泊松、正态与帕累托分布等特定指数族中的实例化，展示这些公式的实际应用价值。
• 提供一种系统化框架，利用自然参数化与矩生成函数计算信息能量与相关系数。

提出的方法

• 利用指数族的自然参数化，通过矩生成函数 F(θ) 表达信息能量。
• 应用恒等式 I(pθ) = exp(F(2θ) − 2F(θ))，基于矩函数计算信息能量。
• 推导同一指数族中两组密度的交叉信息能量 I(p, q) = ∫p(x)q(x)dµ(x)。
• 利用推导出的能量表达式，计算 Onicescu 相关系数 ρ(p, q) = I(p, q)/√(I(p)I(q))。
• 将通用公式应用于具体族：泊松分布（利用阶乘矩）、正态分布（通过高斯积分）、帕累托分布（通过幂律积分）。
• 通过计算机代数系统（Maxima）进行符号计算验证结果，避免直接积分。

实验结果

研究问题

• RQ1 能否利用自然参数化，为所有指数族推导出 Onicescu 信息能量的闭式表达式？
• RQ2 在泊松、正态与帕累托分布等知名参数族中，信息能量与相关系数的行为如何？
• RQ3 矩生成函数与指数族中的信息能量之间存在何种关系？
• RQ4 如何利用推导出的能量公式高效计算柯西-施瓦茨散度？
• RQ5 符号计算系统能否自动化推导不同指数族中的这些能量表达式？

主要发现

• 对于参数为 λ 的泊松分布，信息能量为 I(pλ) = exp(λ² − 2λ) · E[1/X!]，其中自然参数为 θ = log λ。
• 对于单变量正态分布，信息能量为 I(pθ) = 1/(2σ√π)，相关系数为 ρ = √(2σ₁σ₂/(σ₁² + σ₂²)) · exp(−(μ₁−μ₂)²/(2σ₁² + 2σ₂²))。
• 对于多变量正态族，信息能量为 I(pθ) = 1/(2^d π^{d/2} |Σ|^{1/2})，通过精度矩阵求逆推导得出。
• 两个单变量正态分布之间的柯西-施瓦茨散度为 DCS = (μ₁−μ₂)²/(2σ₁² + 2σ₂²) + ½ log(½(σ₁/σ₂ + σ₂/σ₁))。
• 对于形状参数为 a、尺度参数为 k 的帕累托分布，信息能量为 I(pa) = a²/(k(2a + 1))，通过直接积分推导并经符号计算验证。
• 该方法可借助计算机代数系统实现能量公式的自动推导，Maxima 已成功在无需符号积分的情况下计算出帕累托分布的能量。