[論文レビュー] Gene Expression Time Course Clustering with Countably Infinite Hidden Markov Models

Matthew J. Beal, Praveen Thaggikuppe Krishnamurthy|arXiv (Cornell University)|Jun 27, 2012

Gene expression and cancer classification参考文献 15被引用数 9

ひとこと要約

本稿では、階層ディリクレ過程を用いて非パラメトリックなモデル複雑度を可能にする、可算無限個の隠れ状態をもつ隠れマルコフモデル（HDP-HMM）を提案する。2つの大規模なデータセットにおいて、有限HMMや従来の時不変クラスタリング手法よりも優れたクラスタリング品質を示し、より豊富な状態遷移と大きな状態空間を有しても過学習を回避する。

ABSTRACT

Most existing approaches to clustering gene expression time course data treat the different time points as independent dimensions and are invariant to permutations, such as reversal, of the experimental time course. Approaches utilizing HMMs have been shown to be helpful in this regard, but are hampered by having to choose model architectures with appropriate complexities. Here we propose for a clustering application an HMM with a countably infinite state space; inference in this model is possible by recasting it in the hierarchical Dirichlet process (HDP) framework (Teh et al. 2006), and hence we call it the HDP-HMM. We show that the infinite model outperforms model selection methods over finite models, and traditional time-independent methods, as measured by a variety of external and internal indices for clustering on two large publicly available data sets. Moreover, we show that the infinite models utilize more hidden states and employ richer architectures (e.g. state-to-state transitions) without the damaging effects of overfitting.

研究の動機と目的

• 時系列の各時点を独立かつ時間反転に対して不変であると扱う従来のクラスタリング手法の制限を解決する。
• 遺伝子発現データに対する有限HMMにおけるモデル複雑度の最適選択という課題を克服する。
• データから適切な隠れ状態数を自動的に推定できる非パラメトリックベイズ的手法を開発する。
• 柔軟でスケーラブルなフレームワークを用いて状態遷移による時間的依存性を捉えることで、クラスタリング性能を向上させる。
• 状態数の増加や複雑な遷移構造を伴うモデル複雑度が増加しても、過学習に対して頑健であることを実証する。

提案手法

• 階層ディリクレ過程（HDP）事前分布を用いて、可算無限状態空間を有する隠れマルコフモデルを定式化する。
• HDP-HMMを非パラメトリックベイズ枠組みに再定式化し、隠れ状態数の自動推定を可能にする。
• 無限状態空間およびモデルパラメータの後方分布推定にギブスサンプリングを用いる。
• 各時系列を単一のHMMパスによって生成される観測系列としてモデル化するクラスタリングフレームワークにHDP-HMMを統合する。
• 時系列遺伝子発現データにモデルを適用し、各クラスタに対して固有のHMMを学習する。
• HDPの特性を活かし、クラスタ間で共通のcompactな状態構造を favour しつつ、クラスタ固有の複雑さを許容する。

実験結果

リサーチクエスチョン

• RQ1 可算無限状態空間を有する非パラメトリックHMMは、有限HMMと比較して遺伝子発現時系列データのクラスタリング性能を向上させることができるか？
• RQ2 有限モデルよりも多くの隠れ状態や複雑な遷移構造を用いる場合、HDP-HMMは過学習を回避できるか？
• RQ3 HDP-HMMは、従来の時不変クラスタリング手法と比較して、クラスタリング品質に優れているか？
• RQ4 HDP-HMMが隠れ状態数を自動で推定できる能力により、手動によるハイパーパramータチューニングの必要性はどの程度低減されるか？
• RQ5 HDP-HMMは、有限モデルが見逃す生物学的に意味のある遺伝子発現の時間的パターンを捉えることができるか？

主な発見

• 2つの公開遺伝子発現データセットにおいて、外部および内部のクラスタリング評価指標の両方で、有限HMMのモデル選択を上回るHDP-HMMの性能が確認された。
• 時間的順序とダイナミクスを明示的にモデル化することで、k-meansなどの時不変手法よりも優れたクラスタリング品質が達成された。
• 有限モデルがこのような複雑さの増加で性能を低下させるのに対し、HDP-HMMはより多くの隠れ状態と複雑な状態遷移を効果的に活用しながら過学習を回避した。
• HDP事前分布のおかげで、隠れ状態数が自動的に適切に推定され、手動による選択や交差検証の必要がなくなった。
• 非線形トレンドや複数の段階的変化を含む多様な遺伝子発現の時間的パターンに対しても、HDP-HMMは頑健な性能を示した。
• 順序依存性と動的レギュラトリの状態を捉えることで、HDP-HMMは生物学的解釈可能性を向上させた。