[论文解读] Minimal Markov Models

Jesus E. Garcia Veronica A. Gonzalez-Lopez|arXiv (Cornell University)|Feb 3, 2010

Algorithms and Data Compression参考文献 5被引用 5

一句话总结

本文提出了最小马尔可夫模型（MMMs），这是一种新的有限阶马尔可夫链类别，通过将具有相同转移分布的状态按状态空间 $A^M$ 的划分归入等价类，从而最小化参数数量。该模型使用贝叶斯信息准则（BIC）进行一致选择，确保参数估计和模型选择的渐近最优性。

ABSTRACT

In this work we introduce a new and richer class of finite order Markov chain models and address the following model selection problem: find the Markov model with the minimal set of parameters (minimal Markov model) which is necessary to represent a source as a Markov chain of finite order. Let us call $M$ the order of the chain and $A$ the finite alphabet, to determine the minimal Markov model, we define an equivalence relation on the state space $A^{M}$, such that all the sequences of size $M$ with the same transition probabilities are put in the same category. In this way we have one set of $(|A|-1)$ transition probabilities for each category, obtaining a model with a minimal number of parameters. We show that the model can be selected consistently using the Bayesian information criterion.

研究动机与目标

• 解决将随机源表示为有限阶马尔可夫链所需最小参数集的选择问题。
• 通过状态空间 $A^M$ 的划分，定义超越完整马尔可夫链和可变长度马尔可夫链（VLMCs）的更丰富马尔可夫模型类别。
• 利用贝叶斯信息准则（BIC）确保模型选择的一致性，从而实现对真实底层模型结构的渐近最优识别。
• 证明所提出的模型类别将完整马尔可夫链和VLMCs作为特例，从而推广现有框架。
• 为新模型类别下的BIC选择提供理论一致性保障，扩展先前关于VLMCs的研究结果。

提出的方法

• 定义状态空间 $A^M$ 的一个划分 $\mathcal{L} = \{L_1, \dots, L_K\}$，其中同一划分类 $L$ 中的状态对所有 $A$ 中符号具有相同的转移概率。
• 对每个划分类 $L$，估计转移概率 $P(a|L) = \text{Prob}(X_t = a \mid X_{t-M}^{t-1} \in L)$，将参数数量减少至 $K(|A|-1)$。
• 基于经验频率 $r_n(L,a) = N_n^\mathcal{L}(L,a)/n$ 和 $r_n(L) = N_n^\mathcal{L}(L)/n$，使用修改后的最大似然估计器。
• 应用贝叶斯信息准则（BIC）比较模型：$\text{BIC}(\mathcal{L}, x_1^n) = \log \text{ML}(\mathcal{L}, x_1^n) - \frac{(|A|-1)}{2} \ln n$，其中 $\text{ML}$ 为划分模型的似然。
• 利用模型 $\mathcal{L}$ 与其合并版本 $\mathcal{L}^{ij}$（其中类 $L_i$ 和 $L_j$ 合并）之间的BIC差异，检验合并是否能改善拟合与复杂度之间的权衡。
• 证明在正则条件下，当 $P(a|L_i) = P(a|L_j)$ 时，BIC差异 $\text{BIC}(\mathcal{L}, x_1^n) - \text{BIC}(\mathcal{L}^{ij}, x_1^n)$ 几乎必然为负；否则为正，从而确保BIC一致选择真实最小模型。

实验结果

研究问题

• RQ1 能否通过基于共享转移分布的状态空间 $A^M$ 划分，定义一种更具灵活性且参数更高效的有限阶马尔可夫模型类别？
• RQ2 贝叶斯信息准则（BIC）是否适用于该新模型类别的稳定模型选择？
• RQ3 在何种条件下合并两个划分类 $L_i$ 和 $L_j$ 会带来更好的BIC评分，这与转移概率 $P(a|L_i) = P(a|L_j)$ 的相等性有何关联？
• RQ4 所提出的模型类别与现有模型（如完整马尔可夫链和可变长度马尔可夫链，VLMCs）之间存在何种关系？
• RQ5 基于BIC的选择过程是否能渐近地恢复生成观测数据的真实最小划分结构？

主要发现

• 所提出的最小马尔可夫模型类别通过在状态空间 $A^M$ 上定义划分，将完整马尔可夫链和VLMCs作为特例，从而实现对现有框架的推广。
• 该模型通过每个划分类分配一组 $|A|-1$ 个转移概率，实现参数最小化，将总参数数从 $|A|^M(|A|-1)$ 减少至 $K(|A|-1)$，其中 $K$ 为类的数量。
• BIC准则在模型选择中被证明是一致的：当样本量 $n \to \infty$ 时，BIC 几乎必然选择与底层数据生成过程匹配的真实最小划分。
• 一致性证明依赖于如下关键结果：当且仅当合并类的转移分布相等，即对所有 $a \in A$ 有 $P(a|L_i) = P(a|L_j)$ 时，模型与其合并版本之间的BIC差异几乎必然为负。
• 理论分析表明，BIC惩罚项 $\frac{(|A|-1)}{2} \ln n$ 足够防止过拟合，且经验分布与真实分布之间的相对熵（Kullback-Leibler散度）以受 $\ln n / n$ 控制的速率衰减。
• 第3节的模拟结果证实了基于BIC的选择算法的一致性，表明随着 $n$ 增大，真实最小模型几乎必然被恢复。