[论文解读] Estimators, escort probabilities, and phi-exponential families in statistical physics

Jan Naudts|arXiv (Cornell University)|Feb 4, 2004

Statistical Mechanics and Entropy参考文献 15被引用 71

一句话总结

本文引入了 $φ$-指数族作为统计学与统计物理中指数族的推广，采用摄取概率（escort probabilities）和广义Cramér-Rao不等式。它建立了自然参数与期望参数之间的对偶结构，表明 $φ$-指数族在广义不等式下实现最优，并在单一几何框架下统一了Tsallis的热力学统计、Amari的 $α$-族以及标准指数族。

ABSTRACT

The lower bound of Cramer and Rao is generalized to pairs of families of probability distributions, one of which is escort to the other. This bound is optimal for certain families, called phi-exponential in the paper. Their dual structure is explored.

研究动机与目标

• 通过引入一对概率族（其中一个是另一个的摄取）来推广Cramér-Rao下界估计量。
• 确定在何种条件下该广义下界达到最优，从而定义 $φ$-指数族。
• 在广义几何设定下，建立类似于指数族的自然参数与期望参数之间的对偶参数化结构。
• 基于函数 $φ$，将统计物理中已知的族（如Tsallis的平衡分布和Amari的 $α$-族）统一于单一框架下。
• 证明 $φ$-指数族最大化广义熵泛函，从而将信息几何与非广延统计力学联系起来。

提出的方法

• 为给定族 $p_{\theta}$ 引入摄取概率分布 $P_{\theta}$，其中 $P_{\theta}(x) \propto p_{\theta}(x)^q$（$q$ 为某参数）。
• 将费雪信息广义化为依赖于 $p_{\theta}$ 及其摄取 $P_{\theta}$ 的度量 $g_{kl}(\theta) = \int \frac{1}{P_{\theta}(x)} \frac{\partial p_{\theta}}{\partial \theta^k} \frac{\partial p_{\theta}}{\partial \theta^l} d\mu(x)$。
• 定义 $φ$-对数为 $\ln_{\phi}(x) = \int_0^x \frac{du}{\phi(u)}$，其中 $\phi$ 为严格正且非减函数，其逆函数为 $φ$-指数函数。
• 通过 $p_{\theta}(x) = \frac{1}{Z(\theta)} \exp_{\phi}(\theta^k c_k(x) - F(\theta))$ 构造 $φ$-指数族，其中 $\exp_{\phi}$ 为 $φ$-指数函数，$Z(\theta)$ 为归一化常数。
• 推导一种Bregman型发散 $D_{\phi}(p||p') = \int \left[ \phi(p) - \phi(p') - \phi'(p')(p - p') \right] d\mu$，用于定义广义信息几何。
• 建立对偶坐标 $\eta_k = \mathbb{E}_\theta[c_k]$，并证明对偶关系 $\theta^k = \frac{\partial}{\partial \eta_k} I_\phi(p_\theta)$，其中 $I_\phi$ 为广义熵泛函。

实验结果

研究问题

• RQ1 当费雪信息被替换为由一对概率族（其中一个是另一个的摄取）导出的度量时，Cramér-Rao下界如何推广？
• RQ2 统计族需满足何种条件才能在该广义Cramér-Rao下界中达到最优？
• RQ3 引入函数 $\phi$ 如何导致指数族的推广？其产生的几何与统计性质为何？
• RQ4 摄取分布在此类广义族中，在定义自然参数与期望参数之间的对偶参数化结构中起何作用？
• RQ5 能否推导出一个广义熵泛函，使得 $φ$-指数族在该泛函下达到最大值？其与Bregman发散的关系为何？

主要发现

• 使用由 $p_{\theta}$ 及其摄取 $P_{\theta}$ 导出的度量 $g_{kl}(\theta)$ 的广义Cramér-Rao下界，恰好在 $φ$-指数族下达到最优。
• $φ$-指数族由 $p_{\theta}(x) = \frac{1}{Z(\theta)} \exp_{\phi}(\theta^k c_k(x) - F(\theta))$ 定义，其中 $\exp_{\phi}$ 为 $φ$-对数 $\ln_{\phi}(x) = \int_0^x \frac{du}{\phi(u)}$ 的逆函数。
• 当 $\phi(x) = x$ 时，恢复标准指数族；当 $\phi(x) = x^{(1+\alpha)/2}$ 时，得到Amari的 $α$-族；当 $\phi(x) = x^q$ 时，得到Tsallis的平衡分布。
• 对偶坐标 $\eta_k = \mathbb{E}_\theta[c_k]$ 满足对偶关系 $\theta^k = \frac{\partial}{\partial \eta_k} I_\phi(p_\theta)$，其中 $I_\phi(p_\theta)$ 为广义熵泛函。
• 通过Bregman型发散 $D_{\phi}(p||p') = \int \left[ \phi(p) - \phi(p') - \phi'(p')(p - p') \right] d\mu$ 证明了 $φ$-指数族在矩约束下最大化 $I_\phi(p)$。
• 度量张量 $g_{kl}(\theta)$ 满足 $\frac{\partial \theta^k}{\partial \eta^l} = -Z(\theta) g^{kl}(\theta)$，证实了统计流形中 $\theta$ 与 $\eta$ 坐标系的正交性。