[论文解读] Fisher information distance: a geometrical reading

Sueli I. R. Costa, Sandra A. Santos+1 more|arXiv (Cornell University)|Oct 8, 2012

Advanced Statistical Methods and Models参考文献 15被引用 12

一句话总结

本文通过双曲几何，对正态分布的费雪信息距离提供了几何解释，推导出单变量和多变量情形下的闭式表达式。通过利用黎曼几何并关联到Kullback-Leibler散度，该研究为圆形和对角协方差的多变量高斯分布建立了精确的距离公式，为统计学与信号处理中的应用提供了更深层次的几何基础。

ABSTRACT

This paper is a strongly geometrical approach to the Fisher distance, which is a measure of dissimilarity between two probability distribution functions. The Fisher distance, as well as other divergence measures, are also used in many applications to establish a proper data average. The main purpose is to widen the range of possible interpretations and relations of the Fisher distance and its associated geometry for the prospective applications. It focuses on statistical models of the normal probability distribution functions and takes advantage of the connection with the classical hyperbolic geometry to derive closed forms for the Fisher distance in several cases. Connections with the well-known Kullback-Leibler divergence measure are also devised.

研究动机与目标

• 为单变量和多变量正态分布的费雪信息距离提供几何解释。
• 在特定参数空间中，利用经典双曲几何推导费雪距离的闭式表达式。
• 探讨费雪距离与统计模型中Kullback-Leibler散度之间的联系。
• 通过将信息几何与黎曼几何和双曲几何中的已知结果相联系，深化对信息几何的理解。
• 通过阐明统计流形的几何结构，支持在数据分析、信号处理和降维中的实际应用。

提出的方法

• 针对以均值 μ 和标准差 σ 参数化的单变量正态分布，利用上半平面模型的双曲几何。
• 应用经典双曲几何的结果，以 μ 和 σ 表示费雪距离的闭式表达式。
• 通过在协方差矩阵流形上考虑费雪信息度量，将分析扩展至多变量正态分布。
• 利用乘积流形结构，推导出圆形高斯分布（特征值恒定）和对角协方差矩阵的费雪距离。
• 使用庞加莱模型和等距嵌入，将费雪度量与已知的双曲空间联系起来。
• 采用测地线方程和曲率分析，表征统计子流形的内在几何结构，特别是固定均值的二元高斯分布。

实验结果

研究问题

• RQ1 在单变量正态分布的背景下，费雪信息距离如何实现几何解释？
• RQ2 在正态分布的常见参数化形式下，费雪距离可以推导出哪些闭式表达式？
• RQ3 在单变量和多变量情形下，费雪距离与Kullback-Leibler散度之间有何关系？
• RQ4 在费雪度量下，多变量正态分布的统计流形具有哪些几何性质（例如，曲率、测地线）？
• RQ5 对于特殊类别的多变量高斯分布（如对角协方差矩阵或球面对称协方差矩阵），费雪距离能否精确计算？

主要发现

• 对于单变量正态分布，费雪距离在 (μ, σ) 参数空间中存在闭式表达式，该表达式通过双曲几何推导得出，其度量等价于庞加莱上半平面模型。
• 证明了两个单变量正态分布之间的费雪距离可通过几何变换与Kullback-Leibler散度关联，相关公式在公式 (13) 和 (14) 中明确给出。
• 对于固定均值和球面对称协方差（圆形分布）的多变量正态分布，费雪距离为 $ d_F^2 = rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2) $，曲率为 $ -1/p(p+1) $。
• 对于对角协方差矩阵，费雪距离为 $ d_F^2 = rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2) $，曲率为 $ -1/(2(2p-1)) $，且度量可分解为独立分量。
• 在一般二元情形下，协方差矩阵为任意正定矩阵时，未推导出费雪距离的闭式表达式，需依赖数值方法。
• 对于固定均值的二元高斯分布且旋转角为零（u=0）的情形，费雪距离简化为 $ d_F = rac{1}{ heta} ext{arccosh}(1 + rac{1}{2} ext{Tr}((oldsymbol{ heta}_1 - oldsymbol{ heta}_2)^2)) $，且子流形为全测地的，从而可实现精确的距离计算。