[论文解读] Gene Expression Time Course Clustering with Countably Infinite Hidden Markov Models

Matthew J. Beal, Praveen Thaggikuppe Krishnamurthy|arXiv (Cornell University)|Jun 27, 2012

Gene expression and cancer classification参考文献 15被引用 9

一句话总结

本文提出了一种可数无限隐马尔可夫模型（HDP-HMM），用于聚类基因表达时间序列数据，利用层次狄利克雷过程实现非参数化的模型复杂度。该方法在两个大规模数据集上优于有限HMM和传统的非时序聚类方法，即使在状态转移更丰富、状态空间更大的情况下，仍能保持优异的聚类质量且不发生过拟合。

ABSTRACT

Most existing approaches to clustering gene expression time course data treat the different time points as independent dimensions and are invariant to permutations, such as reversal, of the experimental time course. Approaches utilizing HMMs have been shown to be helpful in this regard, but are hampered by having to choose model architectures with appropriate complexities. Here we propose for a clustering application an HMM with a countably infinite state space; inference in this model is possible by recasting it in the hierarchical Dirichlet process (HDP) framework (Teh et al. 2006), and hence we call it the HDP-HMM. We show that the infinite model outperforms model selection methods over finite models, and traditional time-independent methods, as measured by a variety of external and internal indices for clustering on two large publicly available data sets. Moreover, we show that the infinite models utilize more hidden states and employ richer architectures (e.g. state-to-state transitions) without the damaging effects of overfitting.

研究动机与目标

• 解决现有聚类方法将时间点视为独立且对时间反转不变的局限性。
• 克服有限HMM在基因表达数据中选择最优模型复杂度的挑战。
• 开发一种非参数贝叶斯方法，自动从数据中推断合适的隐藏状态数量。
• 通过灵活可扩展的框架捕捉状态转移中的时序依赖性，从而提升聚类性能。
• 即使在模型复杂度增加（如状态数更多、过渡结构更复杂）的情况下，仍表现出对过拟合的鲁棒性。

提出的方法

• 使用层次狄利克雷过程（HDP）先验，构建具有可数无限状态空间的隐马尔可夫模型。
• 将HDP-HMM置于非参数贝叶斯框架中，以实现隐藏状态数量的自动推断。
• 采用Gibbs采样对无限状态空间和模型参数进行后验推断。
• 将HDP-HMM整合到聚类框架中，其中每个时间序列被建模为由单一HMM路径生成的观测序列。
• 将该模型应用于时间序列基因表达数据，为每组聚类学习专属的HMM。
• 利用HDP能够偏好在不同聚类间共享紧凑状态结构，同时允许各聚类具有特定复杂度的能力。

实验结果

研究问题

• RQ1 与有限HMM相比，具有无限状态空间的非参数HMM是否能提升基因表达时间序列数据的聚类性能？
• RQ2 当使用比有限模型更多的隐藏状态和更复杂的过渡结构时，HDP-HMM是否会避免过拟合？
• RQ3 HDP-HMM在聚类质量方面与传统非时序聚类方法相比如何？
• RQ4 该模型自动推断状态数量的能力在多大程度上减少了对手动超参数调优的需求？
• RQ5 HDP-HMM能否捕捉到有限模型所遗漏的、具有生物意义的基因表达时序模式？

主要发现

• 在两个大型公开基因表达数据集上，HDP-HMM在外部和内部聚类评估指标上均优于有限HMM的模型选择。
• 与k-means等时间独立方法相比，HDP-HMM通过显式建模时间顺序和动态特性，实现了更优的聚类质量。
• HDP-HMM在不发生过拟合的情况下成功利用了更多隐藏状态和更复杂的转移结构，而有限模型在类似复杂度下性能会下降。
• 通过HDP先验，模型自动推断出合适的隐藏状态数量，消除了对手动选择或交叉验证的依赖。
• HDP-HMM在多种时间模式（包括非线性趋势和多阶段转变）下均表现出稳健性能。
• 该方法通过捕捉序列依赖性和动态调控状态，提升了时间序列数据的生物可解释性。