[论文解读] Information Geometry Approach to Parameter Estimation in Hidden Markov Models

Masahito Hayashi|arXiv (Cornell University)|May 17, 2017

Markov Chains and Monte Carlo Methods参考文献 29被引用 3

一句话总结

该论文提出了一种基于信息几何的隐马尔可夫模型（HMM）转移矩阵估计器，利用 $k$-记忆转移矩阵的射影费舍尔信息。通过建模 $k$-步历史的部分观测，并在转移矩阵流形上应用EM算法，该方法实现了每轮迭代 $O(1)$ 的时间与空间复杂度，渐近估计误差由射影费舍尔信息矩阵的逆决定，从而实现高效且可扩展的推理，且不依赖于样本量 $n$。该方法通过局部参数化解决了HMM中的等价性问题，并支持 $χ^2$-检验用于模型验证。

ABSTRACT

We consider the estimation of the transition matrix of a hidden Markovian process by using information geometry with respect to transition matrices. In this paper, only the histogram of $k$-memory data is used for the estimation. To establish our method, we focus on a partial observation model with the Markovian process and we propose an efficient estimator whose asymptotic estimation error is given as the inverse of projective Fisher information of transition matrices. This estimator is applied to the estimation of the transition matrix of the hidden Markovian process. In this application, we carefully discuss the equivalence problem for hidden Markovian process on the tangent space.

研究动机与目标

• 开发一种可扩展且渐近最优的隐马尔可夫模型（HMM）参数估计方法，避免传统EM算法随样本量 $n$ 增大而复杂度上升的问题。
• 将转移矩阵的信息几何——特别是射影费舍尔信息——应用于HMM转移矩阵的估计，利用几何结构在 $n$ 下的不变性。
• 通过使用局部参数化消除同一过程的冗余表示，解决HMM中的等价性问题。
• 通过一种对参数空间奇点具有鲁棒性的 $χ^2$-检验，提供模型验证工具。
• 证明所提方法在每轮迭代中实现恒定的计算复杂度，与 $n$ 无关，而传统EM算法则不然。

提出的方法

• 构建一种部分观测模型，仅使用观测变量 $Y_{i},…,Y_{i+k}$ 的 $k$-记忆联合分布，而非完整序列数据。
• 基于转移矩阵的几何结构应用EM算法，利用射影费舍尔信息矩阵刻画估计不确定性。
• 采用 $k$-记忆转移矩阵的曲指数族建模观测分布，实现高效优化。
• 采用先前工作 [12] 的参数化方法，通过消除同一HMM的非可识别表示，解决等价性问题。
• 推导出渐近估计误差为射影费舍尔信息矩阵的逆，确保在正则条件下达到最优性。
• 提出一种 $χ^2$-检验用于模型验证，即使在参数空间存在奇点时也适用。

实验结果

研究问题

• RQ1 能否利用转移矩阵的信息几何设计一种高效、可扩展的HMM转移矩阵估计器，避免随样本量 $n$ 增大而复杂度上升？
• RQ2 在HMM的部分观测模型中，射影费舍尔信息矩阵如何用于刻画渐近估计误差？
• RQ3 在平稳性与充分 $k$ 的条件下，$k$-记忆数据在唯一确定隐藏转移矩阵 $W$ 的过程中起什么作用？
• RQ4 如何通过局部几何参数化解决HMM中的等价性问题——即不同转移矩阵代表同一过程？
• RQ5 当真实参数位于参数空间的奇点附近时，$χ^2$-检验是否仍能有效用于HMM模型验证？

主要发现

• 所提估计器在每轮EM迭代中实现 $O(1)$ 的时间和空间复杂度，与样本量 $n$ 无关，这是由于 $k$-记忆表示的大小固定。
• 渐近估计误差由转移矩阵的射影费舍尔信息矩阵的逆刻画，确保了效率与最优性。
• 当 $k$ 足够大时，$k$-记忆联合分布可唯一确定隐藏转移矩阵 $W$，从而实现一致估计。
• 该方法通过使用局部参数化消除非可识别表示，解决了HMM中的等价性问题，确保了唯一参数化。
• 提出一种 $χ^2$-检验用于模型验证，提供一种实用工具，用于比较和选择候选HMM模型。
• 该方法的计算优势显著：传统EM算法每轮迭代的时间与空间复杂度为 $O(n)$，而本方法实现 $O(1)$ 复杂度，仅需 $O(n)$ 的预处理成本用于计算 $k$-记忆直方图。