[论文解读] Maximum likelihood method and Fisher's information in physics and econophysics

Jacek Syska|arXiv (Cornell University)|Oct 20, 2012

Quantum Mechanics and Applications参考文献 23被引用 4

一句话总结

本文提出了一套统一的框架，用于在物理学和经济物理中进行统计推断，采用最大似然法（MLM）和费雪信息几何。它建立了统计估计、信息几何与场论之间的联系，表明结构信息原理与费雪信息可导出类似于量子场论和经典场论中的场方程，关键结果表明费雪信息矩阵支撑了统计模型的几何结构，并通过变分原理产生动力学方程。

ABSTRACT

Three steps in the development of the maximum likelihood (ML) method are presented. At first, the application of the ML method and Fisher information notion in the model selection analysis is described (Chapter 1). The fundamentals of differential geometry in the construction of the statistical space are introduced, illustrated also by examples of the estimation of the exponential models. At second, the notions of the relative entropy and the information channel capacity are introduced (Chapter 2). The observed and expected structural information principle (IP) and the variational IP of the modified extremal physical information (EPI) method of Frieden and Soffer are presented and discussed (Chapter 3). The derivation of the structural IP based on the analyticity of the logarithm of the likelihood function and on the metricity of the statistical space of the system is given. At third, the use of the EPI method is developed (Chapters 4-5). The information channel capacity is used for the field theory models classification. Next, the modified Frieden and Soffer EPI method, which is a nonparametric estimation that enables the statistical selection of the equation of motions of various field theory models (Chapter 4) or the distribution generating equations of statistical physics models (Chapter 5) is discussed. The connection between entanglement of the momentum degrees of freedom and the mass of a particle is analyzed. The connection between the Rao-Cramer inequality, the causality property of the processes in the Minkowski space-time and the nonexistence of tachions is shown. The generalization of the Aoki-Yoshikawa sectoral productivity econophysical model is also presented (Chapter 5). Finally, the Frieden EPI method of the analysis of the EPR-Bhom experiment is presented. It differs from the Frieden approach by the use of the information geometry methods.

研究动机与目标

• 建立最大似然估计（MLE）在物理学与经济物理中应用的理论基础。
• 利用信息几何研究统计模型的几何结构，特别是费雪信息与对偶仿射联络。
• 从信息论原理推导场方程，表明统计模型的结构可导出动力学规律。
• 通过基于估计理论的信息变分原理，统一经典场论与量子场论。
• 证明费雪信息矩阵及其几何性质自然导出类似于相对论性与量子场论中的方程。

提出的方法

• 将最大似然法（MLM）系统性地应用于物理学与经济物理中的统计模型，特别是指数族模型。
• 利用费雪信息定义统计流形上的黎曼度量，从而实现对参数空间的微分几何分析。
• 引入对偶仿射联络（α-联络）的概念，以及对偶参数化之间的勒让德变换。
• 推导出Cramér-Rao不等式及其多变量形式，作为估计精度的基本限制。
• 应用最小费雪信息原理（或最大熵原理）推导场方程，包括克莱因-高登方程与狄拉克型方程。
• 采用信息几何方法推导主方程，并将其与随机过程及场动力学联系起来。

实验结果

研究问题

• RQ1 如何系统性地将最大似然法应用于物理与经济物理模型？
• RQ2 费雪信息在定义物理学与经济物理中统计模型的几何结构中起什么作用？
• RQ3 能否从信息论原理（如最小费雪信息）推导出经典与量子场论中的场方程？
• RQ4 信息几何中的对偶参数化与α-联络如何与物理对称性及守恒定律相关联？
• RQ5 费雪信息矩阵与场的动力学之间存在何种联系，特别是在相对论性场论的背景下？

主要发现

• 费雪信息矩阵在统计流形上定义了黎曼度量，从而实现了统计推断的几何表述。
• 以标量与多变量形式推导出Cramér-Rao不等式，确立了参数估计精度的基本限制。
• 当基于最小费雪信息原理应用最大似然法时，其导出的场方程与场论中通过变分原理导出的场方程一致。
• 对于指数族模型，在适当的参数化下，信息几何结构自然导出克莱因-高登方程与狄拉克方程。
• 对偶仿射结构（α-联络）与对偶坐标之间的勒让德变换为场论模型中的统计推断提供了几何基础。
• 本文证明，信息几何方法可构建一个统一框架，使估计理论、信息几何与场论在信息原理导出的相对论性场方程背景下实现统一。