[论文解读] Computational information geometry: theory and practice

Karim Anaya‐Izquierdo, Frank Critchley+2 more|arXiv (Cornell University)|Sep 10, 2012

Bayesian Modeling and Causal Inference参考文献 25被引用 3

一句话总结

该论文提出了计算信息几何，这是一种统一框架，以单纯形作为基本几何对象，实现对各类统计模型（尤其是无固定维数或支撑集的模型）的数值计算。通过将模型嵌入有限维空间，该框架整合了信息几何、指数族与混合几何，借助显式数值算法，实现了对似然度、曲率及模型选择度量的稳健计算。

ABSTRACT

This paper lays the foundations for a unified framework for numerically and computationally applying methods drawn from a range of currently distinct geometrical approaches to statistical modelling. In so doing, it extends information geometry from a manifold based approach to one where the simplex is the fundamental geometrical object, thereby allowing applications to models which do not have a fixed dimension or support. Finally, it starts to build a computational framework which will act as a proxy for the 'space of all distributions' that can be used, in particular, to investigate model selection and model uncertainty. A varied set of substantive running examples is used to illustrate theoretical and practical aspects of the discussion. Further developments are briefly indicated.

研究动机与目标

• 将统计学中分散的几何方法——信息几何、指数族与混合几何——统一为单一计算框架。
• 通过将单纯形作为通用定义域，将信息几何从固定维数流形扩展至具有可变支撑集与维数的模型。
• 为所有概率分布的空间开发一个计算代理，以研究模型选择与模型不确定性。
• 通过在有限维单纯形空间中显式计算，实现几何统计方法的数值实现。
• 通过多样化的实际统计案例（包括混合模型、逻辑回归与曲面指数族）展示该框架的实用性。

提出的方法

• 将统计模型表示为概率单纯形 $\Delta^k$ 的子集，其中 $k+1$ 为类别数，从而实现有限维数值处理。
• 使用扩展多项分布来建模具有可变支撑集的分布，允许在几何框架中存在非固定维数。
• 在单纯形上应用微分几何，以数值方式计算曲率、费雪信息量及高阶矩。
• 利用线性投影 $\Pi_L$ 保持凸性与似然结构，从而高效计算似然函数与得分函数。
• 利用对数似然展开与方向导数，计算混合模型中的非参数最大似然估计（NPMLE）。
• 利用核函数 $K(x,y) = \exp(xy)$ 的完全正性，证明关键矩阵的非奇异性质，确保模型可识别性的秩条件。

实验结果

研究问题

• RQ1 如何将信息几何扩展至无固定维数或支撑集的模型（如具有可变支撑集的模型）？
• RQ2 能否通过单一计算框架统一统计学中分散的几何方法，包括指数族、混合模型与信息几何？
• RQ3 单纯形如何作为所有概率分布空间的通用定义域，以实现数值近似？
• RQ4 可从几何原理推导出哪些数值算法，以计算复杂模型中的似然度、曲率与模型充分性？
• RQ5 如何在非指数族模型中实现高阶渐近方法与基于曲率的降维的计算实现？

主要发现

• 单纯形 $\Delta^k$ 为所有概率分布提供了通用的有限维嵌入空间，使得在具有可变维数与支撑集的模型中均可实现数值计算。
• 该框架通过共同的代数与几何基础，成功统一了信息几何、扩展指数族与林赛的混合几何。
• 利用扩展多项分布，可实现对对数似然度、得分函数及高阶导数（如三阶导数）的数值计算，并显式推导出相关表达式。
• 在混合模型中，NPMLE 被证明在 $\epsilon$-邻域内满足对数似然变化的一阶有界性，从而支持稳定性分析。
• 从单纯形上指数族导出的矩阵 $\widetilde{B}$ 的秩被证明为 $k$，确保了模型可识别性及关键几何量的可逆性。
• 利用核函数 $K(x,y) = \exp(xy)$ 的完全正性，确保了矩阵 $B^*$ 的非奇异性质，这对证明几何框架中的秩条件至关重要。