[论文解读] Minimum information Markov model

Issey Sukeda, Tomonari Sei|arXiv (Cornell University)|Jan 11, 2026

Target Tracking and Data Fusion in Sensor Networks被引用 0

一句话总结

论文提出一种基于最小信息马尔可夫内核框架、通过线性参数化的依赖函数构建的高维时间序列参数模型“Minimum Information Markov Model”，并开发利用条件独立性的估计方法。

ABSTRACT

The analysis of high-dimensional time series data has become increasingly important across a wide range of fields. Recently, a method for constructing the minimum information Markov kernel on finite state spaces was established. In this study, we propose a statistical model based on a parametrization of its dependence function, which we call the extit{Minimum Information Markov Model}. We show that its parametrization induces an orthogonal structure between the stationary distribution and the dependence function, and that the model arises as the optimal solution to a divergence rate minimization problem. In particular, for the Gaussian autoregressive case, we establish the existence of the optimal solution to this minimization problem, a nontrivial result requiring a rigorous proof. For parameter estimation, our approach exploits the conditional independence structure inherent in the model, which is supported by the orthogonality. Specifically, we develop several estimators, including conditional likelihood and pseudo likelihood estimators, for the minimum information Markov model in both univariate and multivariate settings. We demonstrate their practical performance through simulation studies and applications to real-world time series data.

研究动机与目标

• 说明为何需要对具有可分离依赖结构和平稳分布的高维时间序列建模
• 引入最小信息马尔可夫内核作为具有可分离依赖与边缘分布的时间序列框架
• 在该内核中提出线性参数化的依赖函数，构建实用的统计模型
• 确立存在性和正交性性质，并开发利用条件独立性的估计程序

提出的方法

• 定义最小信息马尔可夫内核及其一阶/ d 阶形式，含线性参数 θ⊤h(·)
• 通过散度率最小化（勾股结构）显示平稳分布与依赖函数之间的正交性
• 针对高斯自回归（AR/VAR）情形进行特化，建立存在性并与经典 AR/VAR 参数的一一映射
• 使用条件似然（CLE）并利用数据置换不变性来构造估计量，以及 Besag 的伪似然（PLE）作为可扩展基线
• 提出计算改进（置换算法、Fisher 评分、子抽样策略）以实现高维估计
• 讨论在最小信息马尔可夫框架下与经典高斯协方差（Gaussian copula）马尔可夫模型及其他已知过程的关系

实验结果

研究问题

• RQ1 如何通过将依赖结构与边际平稳分布分解来对高维时间序列进行建模？
• RQ2 最小信息马尔可夫内核是否可扩展到时间序列，在什么条件下存在唯一模型？
• RQ3 在一元和多元情形下，最小信息马尔可夫模型的实际估计量是什么？相较传统方法的性能如何？
• RQ4 高斯 AR/VAR 情况如何说明在该框架内的存在性和参数映射？
• RQ5 哪些计算策略使得高维数据的参数估计成为可能？

主要发现

• 最小信息马尔可夫模型给出了平稳分布与依赖函数之间的正交结构
• 对于高斯自回归情形，模型存在唯一性并可与经典 AR/VAR 参数一一映射
• 通过数据置换不变性可构造条件似然估计量，从而在不完全指定不可计算的归一化项的情况下进行参数估计
• Besag 的伪似然提供了一个可扩展的替代方法，在估计精度上与更密集的方法相当
• 经验示例（仿真与真实数据）展示了所提估计量在高维情境中的实用性