[论文解读] Finite state space non parametric Hidden Markov Models are in general identifiable

Élisabeth Gassiat, Alice Cleynen+1 more|arXiv (Cornell University)|Jun 19, 2013

Bayesian Methods and Mixture Models参考文献 23被引用 15

一句话总结

本文证明了当隐马尔可夫链的转移矩阵满秩且发射分布线性无关时，有限状态非参数隐马尔可夫模型（HMM）在状态重标记意义下是可识别的。作者证明了仅从三个连续观测值即可实现可识别性，并提出了基于非参数似然的估计方法，在RNA-Seq和转录组tiling数组分析等应用中提升了分类性能。

ABSTRACT

In this paper, we prove that finite state space non parametric hidden Markov models are identifiable as soon as the transition matrix of the latent Markov chain has full rank and the emission probability distributions are linearly independent. We then propose several non parametric likelihood based estimation methods, which we apply to models used in applications. We finally show on examples that the use of non parametric modeling and estimation may improve the classification performances.

研究动机与目标

• 建立非参数HMM在不假设发射分布参数形式下的理论可识别条件。
• 解决现有非参数HMM估计方法在语音识别和基因组学等应用中缺乏理论支持的问题。
• 证明通过隐马尔可夫依赖结构诱导的观测变量依赖性，可识别原本不可识别的分量混合模型。
• 提出有限状态HMM中发射分布和转移矩阵的一致性非参数估计程序。
• 通过实证结果表明，与参数化替代方法相比，非参数建模在真实世界数据示例中可提升分类性能。

提出的方法

• 在转移矩阵满秩且发射测度线性无关的条件下，利用三个连续观测值的分布证明非参数HMM的可识别性。
• 利用马尔可夫链的条件独立结构：给定X2时，X1与X3条件独立，从而实现(Y1,Y2,Y3)联合分布的分解。
• 运用线性代数论证，证明联合分布唯一确定了发射分布和转移矩阵（至多为状态重排）。
• 提出基于非参数似然的估计方法，包括通过交叉验证选择带宽的核密度估计。
• 在似然函数中引入正则化以提升数值稳定性与分类性能，通过交叉验证或启发式选择进行调参。
• 将该框架应用于真实数据，包括模拟的RNA-Seq数据和拟南芥（Arabidopsis thaliana）的转录组tiling数组数据，采用基于核的非参数密度估计。

实验结果

研究问题

• RQ1 在何种条件下，有限状态非参数HMM可从三个连续观测值的分布中实现可识别？
• RQ2 在不假设发射分布属于某类参数族的前提下，能否一致估计隐马尔可夫模型的发射分布和转移矩阵？
• RQ3 由隐马尔可夫链诱导的依赖结构是否能够识别原本不可识别的分量混合？
• RQ4 在真实生物数据中，非参数估计与参数化建模在分类准确率方面有何比较？
• RQ5 在小样本设置下，正则化在提升非参数HMM估计性能方面起到何种作用？

主要发现

• 当转移矩阵满秩且发射分布线性无关时，有限状态非参数HMM可从三个连续观测值的分布中实现可识别。
• 该可识别性结果在隐状态标签重排意义下成立，这在混合模型中已是最佳可能的识别。
• 在模拟RNA-Seq数据的实验中，对非参数似然进行正则化后，分类性能优于未正则化的估计器。
• 在转录组tiling数组数据中，采用核密度估计的5状态非参数HMM成功将未表达组（蓝色）划分为两个不同的状态，揭示了具有生物学合理性的子群。
• 非参数模型估计出的发射分布具有复杂且非高斯的形状，无法被标准参数族（如二元正态分布）所捕捉。
• 结果支持在参数假设可能导致模型拟合不良和分类错误的应用中使用非参数HMM。