[论文解读] Bayesian Nonparametric Higher Order Hidden Markov Models

Abhra Sarkar, David B. Dunson|arXiv (Cornell University)|May 30, 2018

Bayesian Methods and Mixture Models参考文献 6被引用 5

一句话总结

本文提出了一种基于张量分解的贝叶斯非参数高阶隐马尔可夫模型，以灵活估计未知的隐状态数量和转移阶数。该方法可实现自动滞后选择，并捕捉复杂的高阶依赖关系，在模拟和实际应用中显著优于一阶和高阶竞争模型。

ABSTRACT

We consider the problem of flexible modeling of higher order hidden Markov models when the number of latent states and the nature of the serial dependence, including the true order, are unknown. We propose Bayesian nonparametric methodology based on tensor factorization techniques that can characterize any transition probability with a specified maximal order, allowing automated selection of the important lags and capturing higher order interactions among the lags. Theoretical results provide insights into identifiability of the emission distributions and asymptotic behavior of the posterior. We design efficient Markov chain Monte Carlo algorithms for posterior computation. In simulation experiments, the method vastly outperformed its first and higher order competitors not just in higher order settings, but, remarkably, also in first order cases. Practical utility is illustrated using real world applications.

研究动机与目标

• 解决高阶隐马尔可夫模型中隐状态数量未知和真实依赖阶数未知的挑战。
• 开发一种灵活的非参数框架，可自适应选择相关滞后，而无需预先指定阶数。
• 利用基于张量的表示方法，对滞后之间的复杂高阶交互作用进行建模。
• 确保观测分布的可辨识性，并建立后验一致性的理论基础。
• 通过量身定制的MCMC算法实现高效的后验计算，以支持可扩展的推断。

提出的方法

• 利用张量分解将高阶转移概率表示为低秩分解，实现灵活且简洁的建模。
• 在观测分布上采用贝叶斯非参数先验——具体为狄利克雷过程混合，以允许未知且灵活的状态特异性观测密度。
• 在转移概率数组上施加张量结构先验，以编码最高至预设最大阶数的高阶马尔可夫依赖关系。
• 通过针对张量和非参数结构量身定制的吉布斯采样和梅特罗波利斯-黑斯廷斯更新，推导后验计算方案。
• 引入张量分解的截断方案，以在保持模型灵活性的同时确保计算可行性。
• 在较弱正则性假设下，建立后验一致性和观测分布可辨识性的理论条件。

实验结果

研究问题

• RQ1 贝叶斯非参数模型是否能自动选择高阶隐马尔可夫模型中的相关滞后，而无需假设固定阶数？
• RQ2 基于张量的因子分解在多大程度上能捕捉隐状态序列中过去状态之间的复杂高阶交互作用？
• RQ3 所提出的方法在预测准确性和模型拟合方面是否优于一阶和固定高阶HMM？
• RQ4 后部分布的理论性质如何，特别是关于可辨识性和一致性？
• RQ5 该MCMC推断过程在真实世界高维时间序列数据上的可扩展性和效率如何？

主要发现

• 在模拟研究中，所提方法显著优于一阶和高阶参数化HMM，即使在仅具有一阶依赖的数据设定下亦然。
• 该模型自动识别并仅保留相关滞后，表现出有效的模型选择能力且无过拟合现象。
• 张量分解实现了对标准HMM无法捕捉的复杂高阶依赖关系的精确表示。
• 理论分析在较弱正则性条件下确认了后验一致性和观测分布的可辨识性。
• 高效的MCMC算法实现了对真实世界时间序列的实际推断，在多样化应用中表现出强劲的实证性能。
• 该方法对模型误设具有鲁棒性，尤其在真实阶数未知或误设的情况下表现突出。