[论文解读] Extension of information geometry for modelling non-statistical systems

Ben Anthonis|arXiv (Cornell University)|Jan 5, 2015

Neural Networks and Applications参考文献 1被引用 3

一句话总结

本文通过引入基于分歧函数的数据集模型形式化，将信息几何扩展至非统计系统，利用分歧函数构建统计模型上的微分几何结构。关键贡献是基于分歧函数导出的Hessian结构与仿射联络的几何框架，该框架即使在非欧几里得环境空间中，也能成功重现冯·米塞斯-费舍尔子流形中的预期度量。

ABSTRACT

In this dissertation, an abstract formalism extending information geometry is introduced. This framework encompasses a broad range of modelling problems, including possible applications in machine learning and in the information theoretical foundations of quantum theory. Its purely geometrical foundations make no use of probability theory and very little assumptions about the data or the models are made. Starting only from a divergence function, a Riemannian geometrical structure consisting of a metric tensor and an affine connection is constructed and its properties are investigated. Also the relation to information geometry and in particular the geometry of exponential families of probability distributions is elucidated. It turns out this geometrical framework offers a straightforward way to determine whether or not a parametrised family of distributions can be written in exponential form. Apart from the main theoretical chapter, the dissertation also contains a chapter of examples illustrating the application of the formalism and its geometric properties, a brief introduction to differential geometry and a historical overview of the development of information geometry.

研究动机与目标

• 开发一种适用于非统计数据集的通用几何框架，以扩展传统信息几何。
• 解决经典信息几何在处理非指数族模型和非平稳系统时的局限性。
• 为包括量子物理和机器学习在内的多个领域中的拟合程序，提供统一的数学结构。
• 探讨在此扩展形式化中，是否可系统地定义自然仿射联络与曲率。
• 通过统计物理和量子信息理论中的具体例子，证明该形式化的适用性。

提出的方法

• 提出一种基于分歧函数的数据集模型形式化，推广了概率分布之间距离的概念。
• 利用分歧函数定义Hessian结构，从而在模型流形上诱导出黎曼度量。
• 引入由分歧函数导出的平坦仿射联络，实现在模型空间中的一致几何操作。
• 将该形式化应用于冯·米塞斯-费舍尔分布的子流形，以检验几何一致性。
• 采用微分几何工具（如度量张量与联络）分析模型流形的内在曲率与结构。
• 证明所导出的几何结构与欧几里得嵌入中的预期结果一致，即使环境空间不具备欧几里得度量。

实验结果

研究问题

• RQ1 能否基于分歧函数模型，为非统计系统构建几何框架？
• RQ2 在非指数族模型中，如何从分歧函数系统地推导出一致的仿射联络与黎曼度量？
• RQ3 尽管环境空间非欧几里得，冯·米塞斯-费舍尔分布的子流形的几何结构是否与欧几里得嵌入中的预期结果一致？
• RQ4 该形式化中是否存在类似于经典信息几何中α-联络的自然一参数仿射联络族？
• RQ5 该形式化能否统一机器学习与量子信息理论中的多种建模技术？

主要发现

• 数据集模型形式化成功地从分歧函数构造出黎曼度量与仿射联络，使非统计模型的几何分析成为可能。
• 对于冯·米塞斯-费舍尔分布的子流形，所导出的度量与联络与欧几里得嵌入中的预期结果完全一致，尽管环境空间并非欧几里得。
• 该形式化自然容纳了指数族以外的模型，如非相互作用玻色子系统与线性回归，展现出广泛适用性。
• 由分歧函数导出的Hessian结构为描述模型流形的几何提供了稳定且数学严谨的方法。
• 该方法在统一机器学习与量子信息中的多种建模技术方面具有潜力，尤其因其与正算子值测度（POVMs）的兼容性。
• 结果表明，该形式化可能通过几何判据检测出作为指数族子流形的统计模型。